[論文レビュー] COVID-19 and Computer Audition: An Overview on What Speech & Sound Analysis Could Contribute in the SARS-CoV-2 Corona Crisis

Björn W. Schuller, Dagmar Schuller+4 more|arXiv (Cornell University)|Mar 24, 2020

COVID-19 diagnosis using AI参考文献 56被引用数 66

ひとこと要約

本論文は、音声と音の分析を通じて症状・近接・監視・潜在的診断をCOVID-19に対してどのように支援できるかを概説し、課題と倫理について論じる。

ABSTRACT

At the time of writing, the world population is suffering from more than 10,000 registered COVID-19 disease epidemic induced deaths since the outbreak of the Corona virus more than three months ago now officially known as SARS-CoV-2. Since, tremendous efforts have been made worldwide to counter-steer and control the epidemic by now labelled as pandemic. In this contribution, we provide an overview on the potential for computer audition (CA), i.e., the usage of speech and sound analysis by artificial intelligence to help in this scenario. We first survey which types of related or contextually significant phenomena can be automatically assessed from speech or sound. These include the automatic recognition and monitoring of breathing, dry and wet coughing or sneezing sounds, speech under cold, eating behaviour, sleepiness, or pain to name but a few. Then, we consider potential use-cases for exploitation. These include risk assessment and diagnosis based on symptom histograms and their development over time, as well as monitoring of spread, social distancing and its effects, treatment and recovery, and patient wellbeing. We quickly guide further through challenges that need to be faced for real-life usage. We come to the conclusion that CA appears ready for implementation of (pre-)diagnosis and monitoring tools, and more generally provides rich and significant, yet so far untapped potential in the fight against COVID-19 spread.

研究の動機と目的

• COVID-19危機に対する computer audition (CA) の適用を動機づける。
• CA が自動的に評価できるCOVID-19に関連する音響現象と信号を特定する。
• リスク評価、診断、モニタリング、回復の潜在的なユースケースを概説する。
• 実世界のCA展開における技術的・倫理的・社会的課題を強調する。

提案手法

• 音声分析、呼吸・咳音の認識、マスク検出、感情/睡眠/痛みの評価など、既存の CA タスクを調査する。
• CA の能力を、リスク評価、症状ヒストグラムによる診断、拡散のモニタリング、治療/回復などのCOVID-19 ユースケースにマッピングする。
• 公共空間や臨床現場を支援するツールとして、3D ローカリゼーション、ダイアリゼーション、ソース分離、ノイズ除去を論じる。
• COVID-19 文脈でのコミュニケーションと警報システムを支援するための音声と音の生成を提案する。

実験結果

リサーチクエスチョン

• RQ1 COVID-19 の症状や状態に関連する、すでに利用可能な CA タスクは何か？
• RQ2 COVID-19 文脈で、CA タスクをリスク評価、診断、モニタリング、治療にどのように活用できるか？
• RQ3 現実世界のCOVID-19シナリオでCAを展開する際の主な課題と倫理的考慮事項は何か？

主な発見

• CA は、呼吸、咳（乾性/湿性）、くしゃみ、風邪時やマスク着用時の発話、呼吸パターン、眠気といった信号を自動的に評価できる。
• 潜在的なユースケースには、リスク評価、時間経過にわたる症状ヒストグラムによる音響ベースの診断、拡散と社会的距離のモニタリング、治療/回復のモニタリングが含まれる。
• 話者カウント、ダイアリゼーション、近接検出、ソース分離などの CA 技術は、公共スペースおよび臨床現場でのモニタリングを支援できる。
• COVID-19 文脈でのコミュニケーションと警報システムを支援する音声・音の生成。