[論文レビュー] Audio, Speech, Language, & Signal Processing for COVID-19: A Comprehensive Overview.

Gauri Deshpande, Björn W. Schuller|arXiv (Cornell University)|Nov 29, 2020

Music and Audio Processing参考文献 84被引用数 18

ひとこと要約

本論文は、COVID-19スクリーニング、診断、モニタリング、認知拡散のための音声、スピーチ、信号処理技術について包括的なレビューを提示している。AIを活用して、咳、呼吸パターン、スピーチに内在するCOVID-19の兆候を同定する研究を統合し、非侵襲的でスケーラブルなデジタルヘルスツールの開発を可能にした。症状検出および感情状態の評価において、実証された高い正確性を示している。

ABSTRACT

The Coronavirus (COVID-19) pandemic has been the research focus world-wide in the year 2020. Several efforts, from collection of COVID-19 patients' data to screening them for the virus's detection are taken with rigour. A major portion of COVID-19 symptoms are related to the functioning of the respiratory system, which in-turn critically influences the human speech production system. This drives the research focus towards identifying the markers of COVID-19 in speech and other human generated audio signals. In this paper, we give an overview of the speech and other audio signal, language and general signal processing-based work done using Artificial Intelligence techniques to screen, diagnose, monitor, and spread the awareness aboutCOVID-19. We also briefly describe the research related to detect accord-ing COVID-19 symptoms carried out so far. We aspire that this collective information will be useful in developing automated systems, which can help in the context of COVID-19 using non-obtrusive and easy to use modalities such as audio, speech, and language.

研究の動機と目的

• 音声およびスピーチ信号を用いたCOVID-19症状の検出およびモニタリングに関する既存研究を統合・分析すること。
• パンデミック期における非侵襲的で遠隔健康モニタリングに適したAIベースの信号処理技術を同定すること。
• スピーチおよび音声分析が、COVID-19の呼吸器的および心理的兆候を検出する上で果たす可能性を評価すること。
• 現在の研究におけるギャップを明らかにし、信頼性が高くスケーラブルなデジタルヘルスツールの今後の開発を支援すること。
• パンデミック期における早期発見および精神的健康支援を目的とした、自動化・低コスト・アクセス可能なシステムの構築を支援すること。

提案手法

• 音声、スピーチ、信号処理を用いたCOVID-19応用に関する査読付き論文および技術報告書の体系的レビュー。
• 応用分野別（スクリーニング／診断、モニタリング、認知拡散、行動・精神的健康追跡）に研究を分類。
• CNN、RNN、アテンション機構、MFCCやBoAWなどの特徴抽出技術を含む機械学習およびディープラーニングモデルの分析。
• 多様なデータセットを用いた標準指標（正確性、F1スコア、スピアマンのρ、RMSE、MAE）を用いたモデル性能の評価。
• DAIC-WOZ、COVIG-19プラズマアライアンス、Interspeech 2019の眠気チャレンジデータなど、ベンチマークデータセットの統合。
• スピーチ、咳、呼吸、感情信号分析の統合的分析により、呼吸器的および心理的健康のクロスモダリティバイオマーカーを同定。

実験結果

リサーチクエスチョン

• RQ1 どの音声およびスピーチ信号特徴が、COVID-19またはその症状の存在を信頼性高く示すことができるか？
• RQ2 AIベースのモデルは、スピーチおよび音声信号から咳、呼吸数、OSAなどの呼吸器異常を検出する上でどれほど効果的か？
• RQ3 パンデミックに起因するストレスや孤立状態における精神的健康モニタリングを、スピーチおよび音声処理がどの程度支援できるか？
• RQ4 音声モダリティを用いた遠隔COVID-19スクリーニングの実世界システムを展開する上で直面する主な課題は何か？
• RQ5 スピーチおよび言語処理を活用することで、パンデミック期における公衆の認知拡散および行動的健康をどのように向上させられるか？

主な発見

• 深層学習モデルを用いた咳音分析により、COVID-19の咳と健康な咳・非COVID-19の咳を区別する精度が最大98.5％に達した。
• 制御された研究において、息切れや声の疲れといった呼吸器症状のスピーチベース検出が、高い感度と特異度を示した。
• アテンションとオートエンコーダーの統合を用いたモデルは、スピーチ信号から眠気を予測する際、スピアマンのρで0.367の相関を達成した。
• 階層的アテンショントランスファーネットワークは、DAIC-WOZデータセットを用いてPHQ-8うつ病尺度でRMSEが5.66、MAEが4.28を達成した。
• コンactニューラルネットワークの活用により、モデルサイズを95％削減しながら認識性能に影響を与えないことが確認され、エッジデバイスへのデプロイが可能になった。
• 音声分析統合型チャットボットは、心理的苦痛の軽減および健康行動の改善に潜在的効果を示したが、設計の質が結果に顕著に影響した。