[論文レビュー] An Overview on Audio, Signal, Speech, & Language Processing for COVID-19

Gauri Deshpande, Björn W. Schuller|arXiv (Cornell University)|May 18, 2020

COVID-19 diagnosis using AI参考文献 32被引用数 71

ひとこと要約

この論文は、咳や呼吸の分析による早期症状検出、ストレスおよびメンタルヘルスのモニタリング、および公衆の認知を高めるためのAI駆動のチャットボットを含め、COVID-19への対処のための音声、スピーチ、信号処理技術をレビューしている。深層学習モデル（CNN、SVMなど）を音声特徴（MFCC、ZCR、エネルギー）に適用した結果、咳検出で最大94.6%のAUC、呼吸イベント検出で91.2%の感度を達成した。

ABSTRACT

Recently, there has been an increased attention towards innovating, enhancing, building, and deploying applications of speech signal processing for providing assistance and relief to human mankind from the Coronavirus (COVID-19) pandemic. Many AI with speech initiatives are taken to combat with the present situation and also to create a safe and secure environment for the future. This paper summarises all these efforts taken by the re-search community towards helping the individuals and the society in the fight against COVID-19 over the past 3-4 months using speech signal processing. We also summarise the deep techniques used in this direction to come up with capable solutions in a short span of time. This paper further gives an overview of the contributions from non-speech modalities that may complement or serve as inspiration for audio and speech analysis. In addition, we discuss our observations with respect to solution usability, challenges, and the significant technology achievements.

研究の動機と目的

• 音声およびスピーチ信号処理分野における最近の進展を要約し、COVID-19の早期検出およびモニタリングに寄与すること。
• 機械学習および深層学習モデルの性能を、呼吸器的および心理的指標としての感染の兆候を特定するためのスピーチおよび音声分析に適用することの有効性を評価すること。
• 社会的距離の確保および衛生上の制約下でのデータ収集、モデルの信頼性、および利用可能性に関する課題を特定すること。
• 音声、テキスト、画像処理を統合するマルチモーダル手法が、包括的なパンデミック対応ソリューションに果たす役割を検討すること。
• 技術的業績、利用可能性の問題、および臨床現場への統合のニーズを強調することで、今後の研究を導くこと。

提案手法

• 音声分類のためのスペクトログラムベースの分析をSTFT、MFCC、MFB、エネルギー特徴を用いて実施。
• 咳、呼吸パターン、スピーチベースのバイオマーカーを検出するために、CNN、RNN、径間基底関数カーネルを備えたSVMなどの深層学習モデルを適用。
• 完全な音声の記録を回避することでプライバシーを保護するため、主成分分析（PCA）とランダムフォレスト分類器を用いて咳を検出。
• 感情的コンピューティングおよびストレス検出のため、機能的特徴と低レベル音声特徴（LLDs）を統合。
• トレーニングおよび検証のため、Google Audio Set、Freesound、WatchPATなどの既存データセットを活用。
• 音声、テキスト、画像処理を統合するマルチモーダルフレームワーク（例：マスクの顔認識）を検討し、公衆衛生監視の向上を図った。

実験結果

リサーチクエスチョン

• RQ1 音声およびスピーチ信号処理技術は、咳や異常な呼吸パターンといったCOVID-19の早期呼吸器症状を検出するのにどの程度効果的か？
• RQ2 感染の生理的および心理的指標を特定するために、スピーチ分析に用いられる主な機械学習および深層学習モデルは何か？
• RQ3 音声ベースのスクリーニングシステムにプライバシー保護技術を統合する方法は何か？ ただし、検出精度を損なわないようにする。
• RQ4 パンデミック中におけるAI駆動のチャットボットおよび監視システムの展開における利用可能性および倫理的課題は何か？
• RQ5 音声、テキスト、画像を統合するマルチモーダル手法は、パンデミック対応のためのデジタルヘルスソリューションの信頼性および耐性をどのように向上させられるか？

主な発見

• MFCCおよびMFB特徴を用いたCNNベースのモデルは、音声データからの結核性咳の検出で94.6%のAUCを達成し、呼吸器疾患スクリーニングの強力な可能性を示した。
• MFCC、エネルギー、ピッチ、ZCR特徴を用いたSVMベースのシステムは、スピーチからの閉塞性睡眠時低呼吸症候群の検出でCohenのKappa係数0.54を達成し、中程度ではあるが有望な分類性能を示した。
• スペクトログラムにPCAを適用し、ランダムフォレストを用いたプライバシー保護型アプローチは、完全な音声の記録なしに92%の真正陽性率および0.5%の偽陽性率を達成した。
• CNN-RNNモデルは、会話中の呼吸イベント検出で91.2%の感度および1分あたり1.01の平均絶対誤差を達成した。
• 音声認識および合成を活用したチャットボットは、重要な健康情報の広報と、プラズマ寄付登録の促進に貢献し、Microsoftのボットは寄付センターのユーザー情報収集を可能にした。
• 画像処理を用いたマスク検出は95%の正確性を達成し、公共空間における視覚的監視と音声ベースの健康モニタリングを統合する可能性を示した。