[論文レビュー] An Early Study on Intelligent Analysis of Speech under COVID-19: Severity, Sleep Quality, Fatigue, and Anxiety

Jing Han, Kun Qian+12 more|arXiv (Cornell University)|Apr 30, 2020

COVID-19 diagnosis using AI参考文献 31被引用数 22

ひとこと要約

本研究は、COVID-19の症状評価に音声分析を用いる最初の実証的調査を提示する。eGeMAPSおよびComPAREの音声特徴量とSVMを用いて、入院患者の疾患の重症度、睡眠の質、疲労、不安を予測した。入院期間に基づく疾患の重症度分類において平均正答率0.69を達成し、音声のみを用いた低コストで非侵襲的なスクリーニングの可能性を示した。

ABSTRACT

The COVID-19 outbreak was announced as a global pandemic by the World Health Organisation in March 2020 and has affected a growing number of people in the past few weeks. In this context, advanced artificial intelligence techniques are brought to the fore in responding to fight against and reduce the impact of this global health crisis. In this study, we focus on developing some potential use-cases of intelligent speech analysis for COVID-19 diagnosed patients. In particular, by analysing speech recordings from these patients, we construct audio-only-based models to automatically categorise the health state of patients from four aspects, including the severity of illness, sleep quality, fatigue, and anxiety. For this purpose, two established acoustic feature sets and support vector machines are utilised. Our experiments show that an average accuracy of .69 obtained estimating the severity of illness, which is derived from the number of days in hospitalisation. We hope that this study can foster an extremely fast, low-cost, and convenient way to automatically detect the COVID-19 disease.

研究の動機と目的

• 入院中のCOVID-19患者の健康状態（疾患の重症度、睡眠の質、疲労、不安など）を自動的に評価する音声のみのモデルの開発。
• パンデミック期における非侵襲的で低コストな診断ツールとして、音声信号の利用可能性の検討。
• eGeMAPSおよびComPAREという既存の音声特徴量セットが、音声録音から臨床的に関連する患者状態を予測する能力の評価。
• パンデミック対応および遠隔患者モニタリングにおける将来的なインテリジェント音声分析システムの基盤の確立。

提案手法

• 2020年3月に中国・武漢で入院中のCOVID-19患者52名から音声サンプルを収集し、WeChatを介して1人あたり5文のニュートラルな文を録音した。
• 患者が睡眠の質、疲労、不安について自己報告し、3段階のスケール（低、中、高）を用いた。
• 各録音に対して、全発話セグメントにわたって2つの既存の音声特徴量セット（eGeMAPSおよびComPARE）を抽出した。
• 疾患の重症度、睡眠の質、疲労、不安の4つの予測タスクごとに、個別のサポートベクターマシン（SVM）を訓練した。
• 各タスクのパフォーマンスを最大化するために、交差検証を用いてSVMのハイパーパrameter（C値）を最適化した。
• モデルの評価には、未加重平均再現率（UAR）、正答率（WAR）、F1スコアを用い、UARの運任せ水準を0.33とした。

実験結果

リサーチクエスチョン

• RQ1 入院中のCOVID-19患者の疾患の重症度を、音声信号のみで予測できるか？
• RQ2 音声特徴量は、睡眠の質、疲労、不安といった自己報告による身体的・精神的健康状態をどの程度まで予測できるか？
• RQ3 eGeMAPSとComPAREという異なる音声特徴量セットは、これらの予測タスクにおいて、性能でどのように比較できるか？
• RQ4 SVMベースのモデルは、音声データのみを用いて、信頼性の高い非侵襲的スクリーニングを達成する可能性をどのように有しているか？

主な発見

• 入院期間に基づく疾患の重症度予測において、平均正答率0.69を達成し、非侵襲的スクリーニングの強力な可能性を示した。
• 睡眠の質予測では、eGeMAPSがUAR 0.61、WAR 0.57を達成し、ComPARE（UAR: 0.49、WAR: 0.39）を上回った。
• 疲労予測では中程度のパフォーマンスを示し、eGeMAPSはUAR 0.46、WAR 0.50を達成した。
• 不安予測では、eGeMAPSがUAR 0.56、ComPAREがUAR 0.53を達成し、感情状態に関連する声のパターンが検出可能であることを示した。
• 最も優れたパフォーマンスを示したモデルは、各タスクで異なるC値を使用しており、eGeMAPSは全4タスクでComPAREを上回った。
• 有望な結果が得られたが、データセットのサイズが小さく、対照群が不足していたため、より大規模で多様なデータを用いることでさらなる改善が期待された。