[論文レビュー] An Overview on Audio, Signal, Speech, & Language Processing for COVID-19

Gauri Deshpande, Björn W. Schuller|arXiv (Cornell University)|May 18, 2020

COVID-19 diagnosis using AI被引用数 7

ひとこと要約

この論文は、初期の新型コロナウイルスパンデミック期に開発された音声、スピーチ、信号処理技術を、スクリーニング、モニタリング、メンタルヘルス支援の支援のためにレビューしている。MFCC、CNN、SVMを用いたディープラーニングモデルが、呼吸症状、ストレス、マスク着用の検出に使用され、咳検出で最大94.6%のAUC、呼吸イベント検出で91.2%の感度を達成した。

ABSTRACT

Recently, there has been an increased attention towards innovating, enhancing, building, and deploying applications of speech signal processing for providing assistance and relief to human mankind from the Coronavirus (COVID-19) pandemic. Many AI with speech initiatives are taken to combat with the present situation and also to create a safe and secure environment for the future. This paper summarises all these efforts taken by the re-search community towards helping the individuals and the society in the fight against COVID-19 over the past 3-4 months using speech signal processing. We also summarise the deep techniques used in this direction to come up with capable solutions in a short span of time. This paper further gives an overview of the contributions from non-speech modalities that may complement or serve as inspiration for audio and speech analysis. In addition, we discuss our observations with respect to solution usability, challenges, and the significant technology achievements.

研究の動機と目的

• パンデミックと闘うために最近の音声およびスピーチ信号処理分野の進展を要約すること。
• 症状検出およびメンタルヘルスモニタリングのための音声および音声データに応用された主要な機械学習およびディープラーニング技術を特定すること。
• 臨床および公衆衛生の文脈におけるAI駆動型ソリューションの実用性、課題、技術的業績を評価すること。
• 音声、テキスト、画像処理を統合するマルチモーダルアプローチの役割が、パンデミック対応を強化する方法を探索すること。
• AIベースの健康モニタリングにおけるデータの不足、モデルの信頼性、倫理的配慮のギャップを特定することで、今後の研究を導くこと。

提案手法

• 咳および呼吸音分類において、STFT、MFCC、MFBなどのスペクトログラムベースの特徴を音声表現に用いた。
• 咳、呼吸の不規則さ、ストレスなどの症状を検出するために、CNN、RNN、SVMなどのディープラーニングモデルを音声および音声信号分類に適用した。
• FFT、PCA、エネルギー/ピッチ特徴量などの従来の信号処理技術を、低レベルの音声モデリングに用いた。
• openSMILEからの機能的およびプロソディック特徴量を統合し、ストレスや不安といった感情状態を音声から検出した。
• NLPおよびコンピュータビジョンを用いて、テキストおよび画像モダリティと統合し、感情分析およびマスクを着用した顔の検出を実施した。
• Google AudioSet、Freesound、呼吸器疾患を有する患者の臨床記録を含む、公開および専用データセットを用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 音声およびスピーチ信号処理は、呼吸症状を用いてCOVID-19の早期兆候を検出するためにどのように活用できるか？
• RQ2 咳、呼吸パターン、ボイシャルストレスを分類するのに最も効果的なディープラーニングアーキテクチャおよび音響特徴は何か？
• RQ3 AIベースのシステムは、パンデミックに起因する孤立やストレス下でのメンタルヘルスモニタリングをどのように支援できるか？
• RQ4 実世界の公衆衛生現場における音声ベースのAIツールを展開するにあたり、主な課題は何か？
• RQ5 音声、テキスト、画像データを統合するマルチモーダルシステムは、パンデミック対応における正確性と使いやすさをどのように向上させることができるか？

主な発見

• YouTubeおよびFreesoundの180万件の音声クリップからなるデータセットを用いたSTFT、MFCC、CNNを用いた咳検出で、AUCが0.946に達した。
• スペクトログラムおよびCNN-RNNモデルを用いた呼吸イベント検出で、感度が91.2%に達し、平均絶対誤差は1分間に1.01回となった。
• openSMILE特徴量とk-NN/SVM分類器を用いた緊急通報音声からのストレス検出で、感情的苦痛の検出に高い正確性を示した。
• 画像処理を用いたマスク着用検出で95%の正確性を達成し、高密度地域における自動公衆衛生モニタリングを可能にした。
• SNSおよび患者アンケートのテキスト分析から、病院の物流に対して否定的な感情が、医師との対話に対しては肯定的な感情が明らかになった。
• 音声認識および音声合成を用いたチャットボットが、回復ベースの治療法へのアクセスを向上させるために、回復血漿寄付データ収集を支援した。