[논문 리뷰] COVID-19 and Computer Audition: An Overview on What Speech & Sound Analysis Could Contribute in the SARS-CoV-2 Corona Crisis

Björn W. Schuller, Dagmar Schuller외 4명|arXiv (Cornell University)|2020. 03. 24.

COVID-19 diagnosis using AI참고 문헌 56인용 수 66

한 줄 요약

이 논문은 컴퓨터 청각(CA)이 COVID-19를 돕는 방식—증상, 거리, 모니터링 및 잠재적 진단을 위한 음성/소리 분석—을 조사하고, 도전과 윤리에 대해 논의한다.

ABSTRACT

At the time of writing, the world population is suffering from more than 10,000 registered COVID-19 disease epidemic induced deaths since the outbreak of the Corona virus more than three months ago now officially known as SARS-CoV-2. Since, tremendous efforts have been made worldwide to counter-steer and control the epidemic by now labelled as pandemic. In this contribution, we provide an overview on the potential for computer audition (CA), i.e., the usage of speech and sound analysis by artificial intelligence to help in this scenario. We first survey which types of related or contextually significant phenomena can be automatically assessed from speech or sound. These include the automatic recognition and monitoring of breathing, dry and wet coughing or sneezing sounds, speech under cold, eating behaviour, sleepiness, or pain to name but a few. Then, we consider potential use-cases for exploitation. These include risk assessment and diagnosis based on symptom histograms and their development over time, as well as monitoring of spread, social distancing and its effects, treatment and recovery, and patient wellbeing. We quickly guide further through challenges that need to be faced for real-life usage. We come to the conclusion that CA appears ready for implementation of (pre-)diagnosis and monitoring tools, and more generally provides rich and significant, yet so far untapped potential in the fight against COVID-19 spread.

연구 동기 및 목표

• COVID-19 위기에 컴퓨터 청각(CA)의 활용을 고무한다.
• CA가 자동으로 평가할 수 있는 COVID-19와 관련된 오디오 현상 및 신호를 식별한다.
• 위험 평가, 진단, 모니터링 및 회복을 위한 잠재적 활용 사례를 개요화한다.
• 실세계 CA 배치를 위한 기술적, 윤리적, 사회적 도전과제를 강조한다.

제안 방법

• 음성 분석, 호흡 및 기침 소리 인식, 마스크 감지, 감정/수면/통증 평가 등 기존 CA 작업을 조사한다.
• 위험 평가, 증상 히스토그램을 통한 진단, 확산 모니터링, 치료/회복 등 COVID-19 활용 사례에 CA 역량을 매핑한다.
• 공공 장소와 임상 환경에서 보조 도구로 3D 로컬라이제이션, 다이어리제이션, 소스 분리, 노이즈 제거를 논의한다.
• COVID-19 맥락에서 의사소통 및 경보 시스템을 돕기 위한 음성 및 소리 생성을 제안한다.

실험 결과

연구 질문

• RQ1 COVID-19의 증상 및 상태와 관련된 이미 이용 가능한 CA 작업은 무엇인가?
• RQ2 COVID-19 맥 context에서 위험 평가, 진단, 모니터링 및 치료를 위해 CA 작업이 어떻게 활용될 수 있는가?
• RQ3 실제 COVID-19 시나리오에서 CA를 배포할 때의 주요 도전 과제와 윤리적 고려사항은 무엇인가?

주요 결과

• CA는 호흡, 기침(마른/습한), 재채기, 감기나 마스크 착용 시의 말하기, 호흡 패턴, 졸림과 같은 신호를 자동으로 평가할 수 있다.
• 가능한 활용 사례로는 위험 평가, 시간에 따른 증상 히스토그램을 통한 음성 기반 진단, 확산 모니터링 및 사회적 거리두기, 치료/회복 모니터링이 있다.
• 발화자 수 산정, 다이어리제이션, 근접 탐지, 소스 분리와 같은 CA 기법은 공공 장소와 임상 환경에서 모니터링을 지원할 수 있다.
• COVID-19 맥락에서 의사소통 및 경보 시스템을 돕기 위한 음성 및 소리의 생성이 가능하다.