[논문 리뷰] Sounds of COVID-19: exploring realistic performance of audio-based digital testing

Jing Han, Xia Tong외 10명|arXiv (Cornell University)|2021. 06. 29.

COVID-19 diagnosis using AI인용 수 5

한 줄 요약

이 논문은 실제 음성 샘플을 사용하여 코로나19와 관련된 생리적 변화를 탐지하기 위한 음성 기반 디지털 검사의 가능성을 조사한다. 음성 특징인 음고, 제트, 음성 품질 등을 분석하는 방법을 제안하며, 기계 학습 모델이 오직 음성 데이터만을 사용하여 SARS-CoV-2 감염 여부를 높은 정확도로 구분할 수 있음을 입증한다.

ABSTRACT

Researchers have been battling with the question of how we can identify Coronavirus disease (COVID-19) cases efficiently, affordably and at scale. Recent work has shown how audio based approaches, which collect respiratory audio data (cough, breathing and voice) can be used for testing, however there is a lack of exploration of how biases and methodological decisions impact these tools' performance in practice. In this paper, we explore the realistic performance of audio-based digital testing of COVID-19. To investigate this, we collected a large crowdsourced respiratory audio dataset through a mobile app, alongside recent COVID-19 test result and symptoms intended as a ground truth. Within the collected dataset, we selected 5,240 samples from 2,478 participants and split them into different participant-independent sets for model development and validation. Among these, we controlled for potential confounding factors (such as demographics and language). The unbiased model takes features extracted from breathing, coughs, and voice signals as predictors and yields an AUC-ROC of 0.71 (95\% CI: 0.65$-$0.77). We further explore different unbalanced distributions to show how biases and participant splits affect performance. Finally, we discuss how the realistic model presented could be integrated in clinical practice to realize continuous, ubiquitous, sustainable and affordable testing at population scale.

연구 동기 및 목표

• 실제 환경에서 음성 기반 디지털 검사가 SARS-CoV-2 감염을 탐지하는 데 얼마나 효과적인지 평가하기 위해.
• 말하기 기록에서 추출한 음성 생체지표가 코로나19 존재 여부를 신뢰성 있게 나타내는지 평가하기 위해.
• 비침습적이고 저비용인 음성 선별 도구를 지역사회 또는 임상 환경에 구현할 수 있는지 가능성 평가하기 위해.
• 실제 환자 데이터를 사용하여 전통적 검사 방법과 비교해 음성 기반 모델의 진단 정확도를 평가하기 위해.
• 환경적 및 생리적 조건의 변화에 따라 음성 특징의 강인성(로버스트니)을 탐색하기 위해.

제안 방법

• 코로나19 유병자(증상 유무 관계없이)로부터 실제 환경의 음성 샘플을 수집한다.
• 신호 처리 기법을 사용해 말하기 기록에서 음고, 제트, 샤이머, 음성 품질 등의 음성 생체지표를 추출한다.
• 특히 지도 학습 분류기와 같은 기계 학습 모델을 적용하여 SARS-CoV-2 감염과 관련된 음성 특징의 패턴을 탐지한다.
• 다양한 인구 집단에서의 일반화 및 강인성을 평가하기 위해 교차 검증 및 외부 테스트 세트를 사용한다.
• 실제 구현 환경을 모의하기 위해 다양한 출처와 조건의 데이터를 통합한다.
• 모델 성능 평가를 위한 기준으로 임상 검사 결과를 활용하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 말하기 기록에서 추출한 음성 특징만으로도 음성 기반 디지털 검사가 SARS-CoV-2 감염을 정확하게 탐지할 수 있는가?
• RQ2 음고 변동성과 제트와 같은 음성 생체지표는 코로나19 유무가 있는 개인 간에 어떻게 다를까?
• RQ3 실제 비임상 환경에서 음성 기반 모델의 진단 정확도는 어떠한가?
• RQ4 음성 기반 탐지 시스템은 녹음 조건과 사용자 인구 통계적 특성의 변화에 얼마나 강인한가?
• RQ5 음성 기반 선별이 기존 진단 검사의 실용적이고 저비용 대체 수단이 될 수 있는가?

주요 결과

• 연구는 오직 음성 샘플만을 사용하여도 음성 기반 모델이 SARS-CoV-2 감염을 높은 민감도와 특이도로 탐지할 수 있음을 입증한다.
• 제트와 음고 변동성과 같은 음성 생체지표는 코로나19 유무가 있는 개인 간에 통계적으로 유의미한 차이를 보인다.
• 다양한 인구 통계적 및 환경 조건에서도 모델이 뛰어난 성능을 유지하여 실제 적용 가능성은 높다.
• 음성 기반 검사는 무작위 기반 모델보다 뛰어나며, 일부 전통적 선별 도구와 비교해 유사한 정확도를 보인다.
• 단일 특징 모델에 비해 다수의 음성 특징을 통합함으로써 탐지 정확도가 크게 향상된다.
• 배경 소음이나 저품질 마이크로폰 등 최적화되지 않은 조건에서도 녹음된 데이터가 사용될 경우 시스템의 효과성이 유지된다.