[논문 리뷰] Developing a multi-variate prediction model for the detection of COVID-19 from Crowd-sourced Respiratory Voice Data

Wafaa Aljbawi, Sami O. Simmons외 1명|arXiv (Cornell University)|2022. 09. 08.

COVID-19 diagnosis using AI인용 수 11

한 줄 요약

이 연구는 일반 대상의 음성 기록을 활용하여 비침습적으로 코로나19를 진단하는 딥러닝 모델을 개발한다. 음성 샘플에서 메르-주파수 체프스트랄 계수(MFCCs)를 사용해 훈련한 LSTM 네트워크를 통해 89%의 정확도, 89%의 민감도, 89%의 특이도를 달성하였으며, 기존의 기계학습 모델보다 뛰어난 성능을 보이며 자원이 제한된 환경에서 확장 가능하고 저비용의 진단 방법으로서 큰 잠재력을 보여준다.

ABSTRACT

COVID-19 has affected more than 223 countries worldwide. There is a pressing need for non invasive, low costs and highly scalable solutions to detect COVID-19, especially in low-resource countries where PCR testing is not ubiquitously available. Our aim is to develop a deep learning model identifying COVID-19 using voice data recordings spontaneously provided by the general population (voice recordings and a short questionnaire) via their personal devices. The novelty of this work is in the development of a deep learning model for the identification of COVID-19 patients from voice recordings. Methods: We used the Cambridge University dataset consisting of 893 audio samples, crowd-sourced from 4352 participants that used a COVID-19 Sounds app. Voice features were extracted using a Mel-spectrogram analysis. Based on the voice data, we developed deep learning classification models to detect positive COVID-19 cases. These models included Long-Short Term Memory (LSTM) and Convolutional Neural Network (CNN). We compared their predictive power to baseline classification models, namely Logistic Regression and Support Vector Machine. Results: LSTM based on a Mel-frequency cepstral coefficients (MFCC) features achieved the highest accuracy (89%,) with a sensitivity and specificity of respectively 89% and 89%, The results achieved with the proposed model suggest a significant improvement in the prediction accuracy of COVID-19 diagnosis compared to the results obtained in the state of the art. Conclusion: Deep learning can detect subtle changes in the voice of COVID-19 patients with promising results. As an addition to the current testing techniques this model may aid health professionals in fast diagnosis and tracing of COVID-19 cases using simple voice analysis

연구 동기 및 목표

• 일반 대상의 음성 기록을 활용하여 비침습적이고 저비용이며 확장 가능한 코로나19 진단 방법을 개발하기 위해.
• 기존의 기계학습 모델(LR, SVM)과 비교하여 딥러닝 모델(LSTM, CNN)이 음성 데이터에서 코로나19 상태를 분류하는 데 얼마나 효과적인지 평가하기 위해.
• 모두가 사용하는 음성 기록을 활용하여 SARS-CoV-2 감염을 정확하게 진단하기 위해 가장 효과적인 음성 특징과 모델 아키텍처를 규명하기 위해.
• 특히 자원이 제한된 환경에서 PCR 및 신속 항원 검사와의 보조 수 Mittel로 음성 분석이 얼마나 실현 가능할지 탐색하기 위해.

제안 방법

• 코로나19 사운즈 앱을 통해 4,352명의 참가자로부터 893개의 음성 샘플을 수집하였으며, 음성 기록과 자가 보고한 건강 데이터를 포함한 다중 모odal 데이터셋을 활용하였다.
• 음성의 스펙트럼적 및 시간적 패턴을 표현하기 위해 멜 스펙트로그램과 멜-주파수 체프스트랄 계수(MFCCs)를 사용하여 음성 특징을 추출하였다.
• 이진 분류를 위해 음성 기록에서 코로나19 양성 및 음성 사례를 구분하는 데 목적이 있는 장기 숏텀 메모리(LSTM) 및 컨볼루션 신경망(CNN)과 같은 딥러닝 모델을 훈련하고 비교하였다.
• 기초 기계학습 모델인 로지스틱 회귀(LR) 및 서포트 벡터 머신(SVM)을 사용하여 인구통계학적, 증상 및 임상 데이터를 기반으로 비교 분석을 수행하였다.
• 혼동 행렬, ROC 곡선 및 AUC 점수를 활용하여 모델 성능을 평가하였으며, 민감도, 특이도 및 총 정확도에 중점을 두었다.
• 검증 지표 및 외부 검증 가능성을 기반으로 최고 성능을 보인 모델을 선정하였다.

실험 결과

연구 질문

• RQ1 커뮤니티에서 수집한 음성 데이터를 활용하여 음성 기반의 딥러닝 모델이 고민감도 및 고특이도로 코로나19를 진단할 수 있는가?
• RQ2 MFCC 특징을 기반으로 훈련한 LSTM 모델이 코로나19 진단에서 CNN, 로지스틱 회귀, SVM 모델 대비 성능이 어떻게 다른가?
• RQ3 자발적인 언어 기록에서 코로나19 상태에 대해 가장 예측력 있는 음성 특징은 무엇인가? (예: MFCCs, 멜-스펙트로그램)
• RQ4 어느 정도의 범위에서 음성 분석이 자원이 제한된 환경에서 PCR 및 신속 항원 검사의 대체 수단으로서 확장 가능하고 저비용으로 활용될 수 있는가?

주요 결과

• MFCC 특징을 기반으로 훈련한 LSTM 모델이 음성 기록에서 코로나19를 진단하는 데 총 89%의 정확도, 89%의 민감도, 89%의 특이도로 가장 높은 성능을 기록하였다.
• CNN 모델은 멜-스펙트로그램 이미지에서 효과적인 특징 학습을 보이며 80%의 민감도와 80%의 특이도를 기록하여 뛰어난 성능를 보였다.
• 로지스틱 회귀 및 SVM 모델은 낮은 성능를 보였지만 여전히 수용 가능한 결과를 기록하였으며, 각각 70%의 민감도와 80%의 특이도를 기록하여 이 작업에 있어 전통적 모델의 한계를 드러내었다.
• LSTM 모델의 ROC 곡선은 높은 AUC를 보이며 양성 및 음성 사례 간의 강력한 클래스 분류 능력을 나타내었다.
• 이 연구는 딥러닝 모델, 특히 LSTM이 SARS-CoV-2 감염으로 인한 호흡기 기능 장애와 관련된 미세한 음성 변화를 탐지할 수 있음을 확인하였다.
• 결과적으로 음성 분석은 특히 PCR 검사 접근성이 떨어지는 환경에서 조기 진단 및 접촉자 추적을 위한 비침습적이고 확장 가능한 도구로 유망하다고 제안한다.