[논문 리뷰] Audio, Speech, Language, & Signal Processing for COVID-19: A Comprehensive Overview.

Gauri Deshpande, Björn W. Schuller|arXiv (Cornell University)|2020. 11. 29.

Music and Audio Processing참고 문헌 84인용 수 18

한 줄 요약

이 논문은 코로나19 선별, 진단, 모니터링 및 인식을 위한 음성, 말 및 신호 처리 기술에 대한 종합적인 리뷰를 제시한다. 기침, 호흡 패턴 및 말의 신호에서 코로나19의 생체지표를 탐지하기 위한 연구를 통합하며, 인공지능을 활용해 비침습적이고 확장 가능한 디지털 헬스 도구를 개발하여 증상 탐지 및 정서 상태 평가에서 입증된 정확도를 달성한다.

ABSTRACT

The Coronavirus (COVID-19) pandemic has been the research focus world-wide in the year 2020. Several efforts, from collection of COVID-19 patients' data to screening them for the virus's detection are taken with rigour. A major portion of COVID-19 symptoms are related to the functioning of the respiratory system, which in-turn critically influences the human speech production system. This drives the research focus towards identifying the markers of COVID-19 in speech and other human generated audio signals. In this paper, we give an overview of the speech and other audio signal, language and general signal processing-based work done using Artificial Intelligence techniques to screen, diagnose, monitor, and spread the awareness aboutCOVID-19. We also briefly describe the research related to detect accord-ing COVID-19 symptoms carried out so far. We aspire that this collective information will be useful in developing automated systems, which can help in the context of COVID-19 using non-obtrusive and easy to use modalities such as audio, speech, and language.

연구 동기 및 목표

• 음성 및 말 신호를 이용한 코로나19 증상 탐지 및 모니터링에 관한 기존 연구를 통합하고 분석하는 것.
• 팬데믹 기간 동안 비침습적 원격 건강 모니터링에 적용 가능한 핵심 인공지능 기반 신호 처리 기법을 규명하는 것.
• 말 및 음성 분석이 코로나19의 호흡기 및 심리적 지표를 탐지하는 데 얼마나 유용한지 평가하는 것.
• 현재 연구의 격차를 부각하고 신뢰할 수 있고 확장 가능한 디지털 헬스 도구의 향후 개발을 안내하는 것.
• 팬데믹 기간 동안 조기 탐지 및 정신건강 지원을 위한 자동화되고 저비용이며 접근 가능한 시스템 구축을 지원하는 것.

제안 방법

• 코로나19 적용 분야의 음성, 말 및 신호 처리에 관한 동료 심사 논문 및 기술 보고서에 대한 체계적 리뷰.
• 응용 분야 기반으로 연구를 분류: 선별/진단, 모니터링, 인식, 행동 및 정신건강 추적.
• 사용된 기계학습 및 딥러닝 모델 분석: CNN, RNN, 주의 메커니즘, MFCC 및 BoAW와 같은 특징 추출 기법 포함.
• 정확도, F1 점수, 스피어만 상관관계, RMSE, MAE와 같은 표준 지표를 사용해 다양한 데이터셋에서 모델 성능 평가.
• DAIC-WOZ, COVIG-19 플라즈마 연합, Interspeech 2019 수면 졸림도전 대회 데이터와 같은 벤치마크 데이터셋 포함.
• 말, 기침, 호흡 및 정서 신호 분석의 통합을 통해 호흡기 및 정신건강의 교차 모odal 생체지표 규명.

실험 결과

연구 질문

• RQ1 어떤 음성 및 말 신호 특징이 코로나19 또는 그 증상의 존재를 신뢰성 있게 나타낼 수 있는가?
• RQ2 인공지능 기반 모델은 말 및 음성 신호에서 기침, 호흡 속도 및 수면 무호흡증(ASO)과 같은 호흡기 이상을 탐지하는 데 얼마나 효과적인가?
• RQ3 말 및 음성 처리는 팬데믹 기간의 스트레스와 고립 상황에서 정신건강 모니터링을 얼마나 잘 지원할 수 있는가?
• RQ4 음성 모odal을 이용한 원격 코로나19 선별을 위한 실생활 시스템을 구현할 때의 주요 과제는 무엇인가?
• RQ5 말 및 언어 처리는 팬데믹 기간 동안 대중의 인식 향상과 행동 건강을 향상시키는 데 어떻게 활용될 수 있는가?

주요 결과

• 딥러닝 모델을 활용한 기침 소리 분석이 건강한 기침과 비코로나19 기침을 구분하는 데 최대 98.5%의 정확도를 기록했다.
• 통제된 연구에서 호흡 곤란 및 음성 피로 등의 호흡기 증상을 말 기반으로 탐지한 결과 높은 민감도와 특이도를 보였다.
• 주의 메커니즘과 오토에코더 융합 모델이 말 신호에서 졸림을 예측하는 데 스피어만 상관계수 0.367를 달성했다.
• 계층적 주의 전이 네트워크는 DAIC-WOZ 데이터셋을 사용해 PHQ-8 우울증 척도에서 RMSE 5.66과 MAE 4.28을 기록했다.
• 콤���트 신경망의 사용으로 모델 크기를 95% 감소시켰지만 인식 성능에 영향을 주지 않았으며, 엣지 장치에의 배포를 가능하게 했다.
• 음성 분석과 통합된 챗봇은 심리적 고통 감소와 건강 행동 향상 잠재력을 보였지만, 설계 품질이 결과에 상당한 영향을 미쳤다.