[論文レビュー] Automated speech- and text-based classification of neuropsychiatric conditions in a multidiagnostic setting

Lasse Hansen, Roberta Rocca+9 more|arXiv (Cornell University)|Jan 13, 2023

Voice and Speech Disorders被引用数 6

ひとこと要約

本研究では、従来の機械学習手法と高度なトランスフォーマー・モデルを用いて、多診断状況下での神経精神疾患（うつ病、統合失調症、発達症候群）の自動音声およびテキストベース分類を評価する。マルチクラス設定では、二値分類と比較して性能が著しく低下した。これは、二値タスクで同定されたマーカーが、一般的な臨床的・非臨床的差異を反映している可能性があり、疾患特異的特徴を反映しているわけではないことを示唆している。音声とテキストの統合モデルは、相補的な診断的価値を示した。

ABSTRACT

Speech patterns have been identified as potential diagnostic markers for neuropsychiatric conditions. However, most studies only compare a single clinical group to healthy controls, whereas clinical practice often requires differentiating between multiple potential diagnoses (multiclass settings). To address this, we assembled a dataset of repeated recordings from 420 participants (67 with major depressive disorder, 106 with schizophrenia and 46 with autism, as well as matched controls), and tested the performance of a range of conventional machine learning models and advanced Transformer models on both binary and multiclass classification, based on voice and text features. While binary models performed comparably to previous research (F1 scores between 0.54-0.75 for autism spectrum disorder, ASD; 0.67-0.92 for major depressive disorder, MDD; and 0.71-0.83 for schizophrenia); when differentiating between multiple diagnostic groups performance decreased markedly (F1 scores between 0.35-0.44 for ASD, 0.57-0.75 for MDD, 0.15-0.66 for schizophrenia, and 0.38-0.52 macro F1). Combining voice and text-based models yielded increased performance, suggesting that they capture complementary diagnostic information. Our results indicate that models trained on binary classification may learn to rely on markers of generic differences between clinical and non-clinical populations, or markers of clinical features that overlap across conditions, rather than identifying markers specific to individual conditions. We provide recommendations for future research in the field, suggesting increased focus on developing larger transdiagnostic datasets that include more fine-grained clinical features, and that can support the development of models that better capture the complexity of neuropsychiatric conditions and naturalistic diagnostic assessment.

研究の動機と目的

• 実臨床状況下における複数の神経精神疾患を区別する音声およびテキストベースの機械学習モデルの性能を評価すること。
• 二値分類（例：1つの疾患 vs. コントロール）で学習したモデルが、実際の診断課題を反映するマルチクラス設定に一般化するかどうかを調査すること。
• 音声およびテキスト特徴が、より良い診断分類を実現するための相補的情報を提供するかどうかを検討すること。
• 本研究の多診断的文脈において、最先端のトランスフォーマー・モデルが従来の機械学習手法を上回る効果を示すかどうかを評価すること。
• 今後の研究における自動精神病的評価のための実用的かつ効果的な方針を提示すること。特に、より大規模で多様性のあるデータセットと、細分化された臨床的予測ターゲットの重要性を強調すること。

提案手法

• MDD（67例）、統合失調症（106例）、ASD（46例）および対応するコントロールを含む、420名の参加者から繰り返しの音声およびテキスト記録を収集した新規データセットを構築した。
• ピッチ、エネルギー、スペクトル係数、プロソディなどの音声特徴を標準ツール（例：OpenSMILE、Covarep）を用いて抽出。発話の音声認識処理により、感情、語彙頻度、意味的埋め込みなどの言語的特徴を抽出した。
• サポートベクターマシン（SVM）、ランダムフォレストなどの従来の機械学習モデルに加え、微調整済みのBERTベースおよびその他のトランスフォーマー・アーキテクチャを含む深層学習モデルを、音声およびテキストの両モodal で学習させた。
• 早期統合または後期統合戦略を用いて音声およびテキストモデルを統合し、クロスモダリティ性能向上を評価した。
• 二値分類（1疾患 vs. コントロール）およびマルチクラス分類（3疾患すべて + コントロール）タスクを用いてモデルを評価し、各設定におけるF1スコアおよびマクロF1スコアを報告した。
• 個々のモダリティおよびモデルタイプの寄与度を評価するためのアブレーションスタディを実施。さらに、事前学習および微調整が性能に与える影響を検討した。

Figure 1 : Processing and training pipelines for feature-based text, voice, and ensemble models (see section 2 and Glossary for details on each processing step). For transformer-based text models, we use the same pre- and postprocessing step, while feature extraction and predictive modeling are perf

実験結果

リサーチクエスチョン

• RQ1 音声およびテキストベースの機械学習モデルは、二値分類設定と比較して、複数の神経精神疾患を同時に分類する際、どの程度の性能を示すか？
• RQ2 精神疾患のマルチクラス分類において、音声およびテキスト特徴は、どの程度相補的な診断的情報を提供するか？
• RQ3 最先端のトランスフォーマー・モデルは、多診断的文脈において、従来の機械学習手法を上回る性能を示すか？
• RQ4 診断に重複する臨床的特徴がある状況において、現在のモデルが疾患特異的マーカーを捉える能力にどのような制限を受けるか？
• RQ5 今後の研究は、自動精神病的分類システムの臨床的有用性と耐性をどのように向上できるか？

主な発見

• 二値分類モデルは、先行研究と同等の性能を示し、ASDではF1スコア0.54–0.75、MDDでは0.67–0.92、統合失調症では0.71–0.83の範囲であった。
• マルチクラス分類では性能が著しく低下し、ASDではF1スコア0.35–0.44、MDDでは0.57–0.75、統合失調症では0.15–0.66の範囲であり、マクロF1は0.38–0.52の範囲であった。
• 音声およびテキスト特徴を統合することで分類性能が向上し、両モダリティが相補的な診断的情報を捉えていることが示された。
• トランスフォーマー・モデルは、従来の機械学習モデルを一貫して上回らなかった。これは、アーキテクチャの複雑さそのものが、本研究の文脈でより良い性能を保証するわけではないことを示唆している。
• マルチクラス設定での性能低下は、二値タスクで同定されたマーカーが、一般的な臨床的・非臨床的差異を反映している可能性があり、疾患特異的特徴を反映しているわけではない可能性を示唆している。
• 本研究では、広範な疾患カテゴリの診断から、感情、認知的負荷、症状の重症度といったより細分化された臨床的特徴の予測へと焦点を移すことが推奨される。これにより、臨床的実用性が向上する。

Figure 2 : Binary and multiclass performance per group and classification setup. The x-axis indicates the three different diagnostic groups, as well as overall performance in the multiclass setting. The y-axis indicates performance measured in terms of F1-scores for group vs matched controls (left p