[논문 리뷰] An Early Study on Intelligent Analysis of Speech under COVID-19: Severity, Sleep Quality, Fatigue, and Anxiety

Jing Han, Kun Qian외 12명|arXiv (Cornell University)|2020. 04. 30.

COVID-19 diagnosis using AI참고 문헌 31인용 수 22

한 줄 요약

이 연구는 음성 분석을 활용한 코로나19 증상 평가에 대한 최초의 실증적 조사로, eGeMAPS와 ComPARE 음성 특징을 사용하여 SVM을 활용해 입원 환자의 질병 중증도, 수면 품질, 피로감, 불안 수준을 예측하였다. 입원 기간을 근거로 질병 중증도를 분류하는 데 평균 정확도 0.69를 달성하여, 음성 전용 모델이 저비용이고 침습적이지 않은 걸러내기의 잠재력을 보여주었다.

ABSTRACT

The COVID-19 outbreak was announced as a global pandemic by the World Health Organisation in March 2020 and has affected a growing number of people in the past few weeks. In this context, advanced artificial intelligence techniques are brought to the fore in responding to fight against and reduce the impact of this global health crisis. In this study, we focus on developing some potential use-cases of intelligent speech analysis for COVID-19 diagnosed patients. In particular, by analysing speech recordings from these patients, we construct audio-only-based models to automatically categorise the health state of patients from four aspects, including the severity of illness, sleep quality, fatigue, and anxiety. For this purpose, two established acoustic feature sets and support vector machines are utilised. Our experiments show that an average accuracy of .69 obtained estimating the severity of illness, which is derived from the number of days in hospitalisation. We hope that this study can foster an extremely fast, low-cost, and convenient way to automatically detect the COVID-19 disease.

연구 동기 및 목표

• 입원 환자의 건강 상태, 즉 질병 중증도, 수면 품질, 피로감, 불안 수준을 자동으로 평가하기 위한 음성 전용 모델 개발.
• 팬데믹 기간 동안 음성 신호를 비침습적이고 저비용 진단 도구로 사용할 수 있는지의 가능성을 탐색.
• 기존의 음성 특징 세트(eGeMAPS 및 ComPARE)가 음성 기록으로부터 임상적으로 유의미한 환자 상태를 예측하는 데 얼마나 효과적인지 평가.
• 팬데믹 대응 및 원격 환자 모니터링 분야에서 향후 지능형 음성 분석 시스템의 기초를 마련.

제안 방법

• 2020년 3월 중국 우한에서 입원한 코로나19 환자 52명으로부터 WeChat를 통해 각자 다섯 개의 중립 문장을 기록한 음성 샘플을 수집.
• 수면 품질, 피로감, 불안 수준에 대해 환자들이 자가 평가한 결과를 3단계 척도(낮음, 중간, 높음)로 확보.
• 각 음성 기록의 전체 발화 세그먼트에서 두 가지 기존의 음성 특징 세트(eGeMAPS 및 ComPARE)를 추출.
• 질병 중증도, 수면 품질, 피로감, 불안 예측을 위한 각각 별도의 서포트 벡터 머신(SVM)을 훈련.
• 각 작업의 성능을 최대화하기 위해 교차 검증을 사용해 SVM의 초모수(C 값)를 최적화.
• 무작위 수준을 0.33로 설정한 평균 재현율(UAR), 정확도(WAR), F1 점수를 사용해 모델 성능 평가.

실험 결과

연구 질문

• RQ1 입원한 코로나19 환자에서 음성 신호만으로 질병의 중증도를 예측할 수 있는가?
• RQ2 음성 특징이 수면 품질, 피로감, 불안과 같은 자가 보고된 정신적·신체적 건강 상태를 어느 정도까지 예측할 수 있는가?
• RQ3 이러한 예측 작업에서 eGeMAPS와 ComPARE와 같은 서로 다른 음성 특징 세트의 성능는 어떻게 비교되는가?
• RQ4 SVM 기반 모델이 오직 음성 데이터만을 사용해 신뢰할 수 있는 비침습적 걸러내기 시스템을 달성할 잠재력을 얼마나 지니고 있는가?

주요 결과

• 입원 기간을 근거로 질병 중증도를 예측하는 데 평균 정확도 0.69를 달성하여, 비침습적 걸러내기의 강력한 잠재력을 보여주었다.
• 수면 품질 예측에서 eGeMAPS는 UAR 0.61, WAR 0.57을 기록했고, ComPARE(각각 UAR: 0.49, WAR: 0.39)를 앞서 성능이 뛰어났다.
• 피로감 예측은 중간 수준의 성능를 보였으며, eGeMAPS는 UAR 0.46, WAR 0.50을 기록했다.
• 불안 예측에서는 eGeMAPS로 UAR 0.56, ComPARE로 UAR 0.53를 기록하여 감정 상태와 관련된 음성 패턴이 감지되었음을 시사했다.
• 성능이 가장 뛰어난 모델은 각 작업에 대해 서로 다른 C 값을 사용했으며, eGeMAPS는 모든 네 가지 작업에서 ComPARE를 일반적으로 뛰어넘었다.
• 다소 유망한 결과를 보였지만, 데이터셋 크기가 작고 대조군이 없어 성능에 한계가 있었으며, 더 큰 규모이고 다양한 데이터로 개선 가능성이 있음을 시사했다.