[논문 리뷰] Machine Learning based COVID-19 Detection from Smartphone Recordings: Cough, Breath and Speech

Madhurananda Pahar, Thomas Niesler|arXiv (Cornell University)|2021. 04. 02.

COVID-19 diagnosis using AI참고 문헌 17인용 수 10

한 줄 요약

이 연구는 기계 학습을 활용해 스마트폰으로 기록한 기침, 숨결, 말하기 음성 데이터를 분석함으로써 비침습적이고 스마트폰 기반의 코로나19 감별 시스템을 제안한다. Coswara와 ComParE 데이터셋을 사용하여 기침에 대해 최대 AUC 0.93(최근접 이웃법과 특성 선택을 사용한 경우)과 숨결에 대해 최대 AUC 0.92(ResNet50 사용)를 달성하며, 인간의 귀로는 들을 수 없는 기침과 같은 음성 자료가 코로나19의 감지 가능한 특징을 담고 있음을 입증한다.

ABSTRACT

We present an experimental investigation into the automatic detection of COVID-19 from smartphone recordings of coughs, breaths and speech. This type of screening is attractive because it is non-contact, does not require specialist medical expertise or laboratory facilities and can easily be deployed on inexpensive consumer hardware. We base our experiments on two datasets, Coswara and ComParE, containing recordings of coughing, breathing and speech from subjects around the globe. We have considered seven machine learning classifiers and all of them are trained and evaluated using leave-p-out cross-validation. For the Coswara data, the highest AUC of 0.92 was achieved using a Resnet50 architecture on breaths. For the ComParE data, the highest AUC of 0.93 was achieved using a k-nearest neighbours (KNN) classifier on cough recordings after selecting the best 12 features using sequential forward selection (SFS) and the highest AUC of 0.91 was also achieved on speech by a multilayer perceptron (MLP) when using SFS to select the best 23 features. We conclude that among all vocal audio, coughs carry the strongest COVID-19 signature followed by breath and speech. Although these signatures are not perceivable by human ear, machine learning based COVID-19 detection is possible from vocal audio recorded via smartphone.

연구 동기 및 목표

• 스마트폰으로 기록한 음성 자료만을 사용하여 저비용, 비접촉식이며 확장 가능한 코로나19 감별 방법을 개발하는 것.
• 기침, 숨결, 말하기 음성에서 코로나19를 식별하는 데 있어 다양한 기계 학습 모델의 효과를 평가하는 것.
• SARS-CoV-2 감염을 식별하는 데 있어 기침, 숨결, 말하기와 같은 다양한 음성 모odalities의 진단 잠재력을 비교하는 것.
• 가장 유용한 음성 특징을 식별하고 특성 선택 기법을 사용하여 모델 성능을 최적화하는 것.
• 공개된 데이터셋(Coswara와 ComParE)을 활용하여 다양한 세계적 인구 집단에 대한 일반화 능력을 평가하는 것.

제안 방법

• 모델 평가의 강건성을 확보하기 위해 이탈 기반 교차 검증(leave-p-out cross-validation)을 사용한다.
• Coswara와 ComParE 데이터셋의 음성 기록에 대해 ResNet50, KNN, MLP 등 일곱 가지 기계 학습 분류기를 훈련 및 테스트한다.
• 원시 음성에서 가장 분류 능력이 뛰어난 특징을 식별하기 위해 순차적 전진 선택(Sequential Forward Selection, SFS)을 사용하여 모델 일반화 능력을 향상시킨다.
• 기침, 숨결, 말하기 샘플에서 특징을 추출하며, 복잡한 패턴 탐지를 위해 깊이 신경망(ResNet50)을 원시 스펙트로그램에 적용한다.
• 의료 진단의 이진 분류 표준 지표인 AUC(ROC 곡선 아래 면적)를 사용하여 성능을 평가한다.
• 다양한 음성 유형(기침, 숨결, 말하기)과 데이터셋 간의 모델 성능을 비교하여 가장 정보적인 모달리티를 파악한다.

실험 결과

연구 질문

• RQ1 스마트폰으로 기록한 음성에서 기침, 숨결, 말하기 중 어느 음성 모달리티가 코로나19의 가장 강력한 감지 가능한 특징을 담고 있는가?
• RQ2 기침, 숨결, 말하기 음성에서 코로나19 감별에 있어 가장 높은 진단 성능(AUC)을 달성하는 기계 학습 모델은 무엇인가?
• RQ3 특성 선택(예: SFS)이 이 작업에서 기계 학습 모델의 성능을 어떻게 향상시키는가?
• RQ4 소비자 수준의 경량 스마트폰 시스템이 임상 전문 지식이나 실험실 시설 없이도 코로나19를 신뢰성 있게 감지할 수 있는가?
• RQ5 Coswara와 ComParE와 같은 다양한 세계적 데이터셋에서 모델 성능과 일반화 능력은 어떻게 변화하는가?

주요 결과

• 기침 기록이 가장 높은 진단 성능를 보였으며, 특성 선택 후 최근접 이웃법(KNN) 분류기를 사용하여 AUC 0.93를 달성했다.
• 숨결 기록은 두 번째로 뛰어난 결과를 보였으며, Coswara 데이터셋에서 ResNet50 아키텍처를 사용하여 AUC 0.92를 기록했다.
• 말하기 기록은 순차적 전진 선택으로 선별한 최상의 23개 특징을 사용한 다층 퍼셉트론(MLP)으로 AUC 0.91를 달성했다.
• 이 연구는 특히 기침과 같은 음성 자료가 인간의 귀로는 들을 수 없지만 기계로는 측정 가능한 코로나19의 특징을 담고 있음을 확인했다.
• 특성 선택은 고차원 음성 공간에서 모델 성능을 크게 향상시켜 진단 정확도를 최적화하는 데 있어 그 중요성을 입증했다.
• 스마트폰 기반의 비침습적 선별이 인구 수준의 코로나19 감별에 있어 실현 가능하고 확장 가능하며 정확한 접근법임을 시사한다.