[논문 리뷰] Audio-based AI classifiers show no evidence of improved COVID-19 screening over simple symptoms checkers

Harry Coppock, Nicholson, George외 23명|arXiv (Cornell University)|2022. 12. 15.

COVID-19 diagnosis using AI인용 수 5

한 줄 요약

이 연구는 67,842명의 대규모 PCR 검사 결과가 확인된 데이터셋을 사용하여 청각 기반 AI 분류기의 코로나19 스크리닝 성능을 평가한다. 초기 AUC가 높았음에도 불구하고(0.846), 자가 보고 증상과 같은 혼동 변수를 보정한 후 성능이 0.619로 떨어지며, 청각 기반 분류기가 단순 자가 보고 증상 스크리닝에 비해 실질적인 이점이 없음을 보여준다.

ABSTRACT

Recent work has reported that AI classifiers trained on audio recordings can accurately predict severe acute respiratory syndrome coronavirus 2 (SARSCoV2) infection status. Here, we undertake a large scale study of audio-based deep learning classifiers, as part of the UK governments pandemic response. We collect and analyse a dataset of audio recordings from 67,842 individuals with linked metadata, including reverse transcription polymerase chain reaction (PCR) test outcomes, of whom 23,514 tested positive for SARS CoV 2. Subjects were recruited via the UK governments National Health Service Test-and-Trace programme and the REal-time Assessment of Community Transmission (REACT) randomised surveillance survey. In an unadjusted analysis of our dataset AI classifiers predict SARS-CoV-2 infection status with high accuracy (Receiver Operating Characteristic Area Under the Curve (ROCAUC) 0.846 [0.838, 0.854]) consistent with the findings of previous studies. However, after matching on measured confounders, such as age, gender, and self reported symptoms, our classifiers performance is much weaker (ROC-AUC 0.619 [0.594, 0.644]). Upon quantifying the utility of audio based classifiers in practical settings, we find them to be outperformed by simple predictive scores based on user reported symptoms.

연구 동기 및 목표

• 청각 기반 AI 분류기가 단순 자가 보고 증상 체크리스트를 초월해 코로나19 스크리닝 정확도를 향상시키는지 평가하기.
• 특히 자가 보고 증상과 같은 혼동 변수가 청각 기반 AI 모델의 예측 성능에 미치는 영향을 조사하기.
• 청각 기반 분류기의 실제 인구 스크리닝 상황에서의 실용적 유용성을 시뮬레이션된 인구 집단 스크리닝 시나리오에서 평가하기.
• AI 기반 진단 연구에서 모집 편향을 완화하고 연구 설계를 개선하기 위한 최선의 실천 가이드라인 제공하기.
• 재현성과 향후 연구를 지원하기 위해 공개 가능한 대규모 PCR 검사 결과가 확인된 데이터셋을 제공하기.

제안 방법

• PCR 검사 결과가 연결된 67,842건의 호흡 음성 기록 데이터셋을 수집하였으며, 이 중 23,514건은 SARS-CoV-2 양성으로 확인됨.
• 데이터셋을 기반으로 여러 청각 기반 AI 분류기를 훈련하고, 일반화 능력을 고려해 ROC-AUC를 사용해 성능을 평가함.
• 자기 보고 증상과 같은 측정된 혼동 변수에 대해 성향 스코어 매칭을 적용하여 증상 전용 스크리닝과 공정한 비교를 시뮬레이션함.
• 증상 및 기타 혼동 변수를 고려한 후 잔여 예측 능력을 분리하기 위해 매칭 분석을 수행함.
• 다양한 임상 결정 기준에서 기대 유용도 지표를 사용해 청각, 증상, 병합 모델의 유용성을 비교 평가함.
• 외부 데이터셋에서 결과를 재현하여 성능의 강건성과 일반화 능력을 검증함.

실험 결과

연구 질문

• RQ1 혼동 변수를 적절히 보정했을 때, 청각 기반 AI는 자가 보고 증상보다 코로나19 스크리닝 정확도를 향상시키는가?
• RQ2 자가 보고 증상 및 기타 혼동 변수가 청각 기반 AI 분류기의 예측 성능에 얼마나 기여하는가?
• RQ3 편향된 모집 조건이 아닌 실제 인구 조건에서 매칭된 조건에서 청각 기반 분류기의 성능은 어떻게 변화하는가?
• RQ4 시뮬레이션된 일반 인구 집단 환경에서 청각 기반 분류기의 실용적 유용성은 증상 기반 스크리닝과 비교해 어떻게 되는가?
• RQ5 향후 AI 기반 진단 연구에서 모집 편향과 혼동 변수를 연구 설계 및 평가 과정에서 어떻게 더 잘 고려할 수 있는가?

주요 결과

• 보정되지 않은 분석에서 청각 기반 AI 분류기는 높은 ROC-AUC(0.846, 95% CI: 0.838–0.854)를 기록했으며, 이는 이전 연구와 일치함.
• 측정된 혼동 변수(예: 자가 보고 증상)에 대해 매칭한 후 ROC-AUC는 유의미하게 0.619(95% CI: 0.594–0.644)로 하락하여 청각 신호 자체의 잔여 예측 능력이 미미함을 시사함.
• 모든 시뮬레이션된 실용적 환경에서 청각 기반 분류기의 성능는 증상 기반 스크리닝에 뒤지며, 청각과 증상을 병합해도 추가 이점이 없음.
• 연구에서는 자가 보고 증상에 기반한 모집이 이전 연구에서 성능이 과대평가된 주요 원인임을 발견함.
• 보정 후 잔여 예측 능력은 데이터셋에 기록되지 않은 인구 통계나 행동 요인과 같은 측정되지 않은 혼동 변수에 기인함.
• 재현성과 고차원적, 과다 매개변수화된 AI 모델의 편향 완화 연구를 지원하기 위해 데이터셋과 코드베이스를 공개함.