[논문 리뷰] An Overview on Audio, Signal, Speech, & Language Processing for COVID-19

Gauri Deshpande, Björn W. Schuller|arXiv (Cornell University)|2020. 05. 18.

COVID-19 diagnosis using AI인용 수 7

한 줄 요약

이 논문은 코로나19 초기 동안 음성, 말 및 신호 처리 기술이 감염자 선별, 모니터링 및 정신 건강 지원을 위해 어떻게 활용되었는지를 검토한다. 음성 및 음향 데이터를 바탕으로 MFCC, CNN, SVM을 사용한 딥러닝 모델이 호흡기 증상, 스트레스 및 마스크 착용 여부를 탐지하는 데 활용되었으며, 기침 탐지에 있어서 최대 94.6% AUC와 숨 가쁨 탐지에 있어서 91.2% 민감도를 기록했다.

ABSTRACT

Recently, there has been an increased attention towards innovating, enhancing, building, and deploying applications of speech signal processing for providing assistance and relief to human mankind from the Coronavirus (COVID-19) pandemic. Many AI with speech initiatives are taken to combat with the present situation and also to create a safe and secure environment for the future. This paper summarises all these efforts taken by the re-search community towards helping the individuals and the society in the fight against COVID-19 over the past 3-4 months using speech signal processing. We also summarise the deep techniques used in this direction to come up with capable solutions in a short span of time. This paper further gives an overview of the contributions from non-speech modalities that may complement or serve as inspiration for audio and speech analysis. In addition, we discuss our observations with respect to solution usability, challenges, and the significant technology achievements.

연구 동기 및 목표

• 코로나19 패닉을 극복하기 위한 최근 음성 및 말 신호 처리 기술의 발전을 요약하기 위해.
• 증상 탐지 및 정신 건강 모니터링을 위해 음성 및 음향 데이터에 적용된 주요 기계 학습 및 딥러닝 기법을 규명하기 위해.
• 임상 및 공중보건 분야에서 AI 기반 솔루션의 사용성, 과제 및 기술적 성취도를 평가하기 위해.
• 음성, 텍스트 및 영상 처리를 통합한 다중 모odal 접근 방식이 패닉 대응을 향상시키는 데 어떻게 기여할 수 있는지 탐색하기 위해.
• AI 기반 건강 모니터링에서 데이터 가용성, 모델 신뢰성 및 윤리적 고려 사항의 격차를 규명함으로써 향후 연구를 이끌기 위해.

제안 방법

• 기침 및 호흡 음향 분류에 사용된 스펙트로그램 기반 특징(예: STFT, MFCC, MFB)을 활용하여 음향 표현을 수행하였다.
• 기침, 호흡 불규칙성 및 스트레스와 같은 증상을 탐지하기 위해 음성 및 음향 신호를 분류하기 위해 CNN, RNN 및 SVM 등의 딥러닝 모델을 적용하였다.
• 저수준 음향 모델링을 위해 FFT, PCA 및 에너지/피치 특징과 같은 전통적인 신호 처리 기법을 활용하였다.
• 감정 상태(예: 스트레스 및 불안) 탐지에 사용된 기능적 및 프로소딕 특징(예: openSMILE에서 유래)을 통합하였다.
• 음성과 텍스트, 영상 모odal을 통합하여 NLP 및 컴퓨터 비전을 활용해 정서 분석 및 마스크 착용 얼굴 탐지 기능을 수행하였다.
• Google AudioSet, Freesound 및 호흡기 질환 환자로부터 확보한 임상 기록을 포함한 공개 및 전용 데이터셋을 활용해 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 음성 및 말 신호 처리 기술을 어떻게 활용하여 호흡기 증상을 통해 코로나19의 조기 징후를 탐지할 수 있는가?
• RQ2 기침, 호흡 패턴 및 음성 스트레스를 분류하는 데 가장 효과적인 딥러닝 아키텍처와 음향 특징는 무엇인가?
• RQ3 AI 기반 시스템은 패닉 상황에서의 고립과 스트레스 상황에서 정신 건강 모니터링을 어떻게 지원할 수 있는가?
• RQ4 실제 공중보건 현장에서 음성 기반 AI 도구를 구현할 때의 주요 과제는 무엇인가?
• RQ5 음성, 텍스트 및 영상 데이터를 통합한 다중 모달 시스템은 패닉 대응에서 정확도와 사용성 향상에 어떻게 기여할 수 있는가?

주요 결과

• YouTube 및 Freesound에서 확보한 180만 개의 오디오 클립 데이터셋을 대상으로 STFT, MFCC 및 CNN을 활용한 기침 탐지에서 AUC가 0.946에 도달했다.
• 스펙트로그램과 CNN-RNN 모델을 활용한 숨 가쁨 이벤트 탐지에서 민감도가 91.2%이며, 평균 절대 오차는 분당 1.01회의 숨 가쁨으로 측정되었다.
• openSMILE 특징과 k-NN/SVM 분류기 기반으로 응급 전화에서 스트레스를 탐지한 결과, 정서적 고통을 높은 정확도로 식별하였다.
• 이미지 처리를 활용한 마스크 착용 여부 탐지에서 정확도가 95%에 도달하여 고밀도 지역에서 자동화된 공중보건 모니터링이 가능해졌다.
• 소셜 미디어 및 환자 설문 조사의 텍스트 분석 결과, 병원 물류에 대한 부정적 정서와 의료진과의 상호작용에 대한 긍정적 정서가 드러났다.
• 음성 인식 및 합성 기술을 활용한 챗봇이 혈장 기부 데이터 수집을 지원하여 회복 기반 치료 접근성을 향상시켰다.