[論文レビュー] Multimodal Deep Learning for Mental Disorders Prediction from Audio Speech Samples

Habibeh Naderi, Behrouz Haji Soleimani+1 more|arXiv (Cornell University)|Sep 3, 2019

Mental Health via Writing被引用数 9

ひとこと要約

本論文は、臨床的スピーチインタビューからの音声およびテキスト埋め込みを統合するマルチモーダル深層学習フレームワークを提案し、うつ病、双極性障害、統合失調症などの精神的障害を予測する。BERT、XLNet、WaveNet、VGG風のネットワークといった事前学習モデルを活用し、補助的感情ラベル付きデータを用いた転移学習を実施することで、統合失調症の平均正解率74.35%、AUC 0.751を達成し、不均衡データにおいても優れた性能を示した。

ABSTRACT

Key features of mental illnesses are reflected in speech. Our research focuses on designing a multimodal deep learning structure that automatically extracts salient features from recorded speech samples for predicting various mental disorders including depression, bipolar, and schizophrenia. We adopt a variety of pre-trained models to extract embeddings from both audio and text segments. We use several state-of-the-art embedding techniques including BERT, FastText, and Doc2VecC for the text representation learning and WaveNet and VGG-ish models for audio encoding. We also leverage huge auxiliary emotion-labeled text and audio corpora to train emotion-specific embeddings and use transfer learning in order to address the problem of insufficient annotated multimodal data available. All these embeddings are then combined into a joint representation in a multimodal fusion layer and finally a recurrent neural network is used to predict the mental disorder. Our results show that mental disorders can be predicted with acceptable accuracy through multimodal analysis of clinical interviews.

研究の動機と目的

• 臨床的スピーチインタビューのマルチモーダル分析を用いて、精神的障害を自動で予測するシステムの開発。
• 豊富なマルチモーダルデータが限られている状況に対処するため、転移学習と大規模な補助的感情ラベル付きコーパスを活用。
• 学習可能な統合メカニズムを用いて、異種の音声およびテキスト表現を統合することで、診断の正確性を向上。
• ランダムオーバーサンプリングと頑健なモデル学習を用いて、精神的健康データセットにおけるクラス不均衡を処理。
• 最終予測層における注目メカニズムを用いて、臨床的に重要なスピーチセグメントを同定することで解釈性を向上。

提案手法

• 文脈に依存するテキスト埋め込みを、転写されたスピーチから抽出するために、事前学習済み言語モデル（BERT、XLNet、FastText、Doc2VecC）を用いる。
• プロソディックおよびスペクトル的特徴を符号化するために、事前学習済みWaveNetおよびVGG風のモデルを用いて音声特徴を抽出する。
• 転移学習を用いて、大規模な補助テキストおよび音声コーパスから感情固有の埋め込みを学習し、表現品質を向上。
• 重み付き特徴連結統合層が、音声およびテキスト埋め込みを統合されたマルチモーダル表現に統合する。
• LSTMに注目メカニズムを組み合わせ、統合表現を処理して最終的な精神的障害予測を生成。
• 家族IDに配慮したデータ分割を伴う5分割交差検証により、テスト・トレーニングの独立性を確保し、ランダムオーバーサンプリングでクラス不均衡を緩和。

実験結果

リサーチクエスチョン

• RQ1 臨床的インタビューからの音声およびテキスト特徴のマルチモーダル統合は、単一モodalアプローチに比べ、精神的障害予測の正確性を向上させることができるか？
• RQ2 補助的感情ラベル付きデータを用いた転移学習は、リソースが限られた精神的健康アプリケーションにおける表現学習をどの程度向上させるか？
• RQ3 RNNにおける注目メカニズムは、予測時に臨床的に関連するスピーチセグメントをどの程度特定・優先できるか？
• RQ4 本提案モデルは、統合失調症のように非常に不均衡なトレーニングデータを有するレアな精神的障害にどの程度一般化できるか？
• RQ5 文脈に依存する埋め込み（例：BERT、XLNet）の統合は、BOW や tf-idf といった従来手法に比べ、精神的障害分類で優れているか？

主な発見

• 提案されたマルチモーダルフレームワークは、うつ病、双極性障害、統合失調症の全般で平均分類正解率74.35%を達成した。
• 統合失調症のAUCは0.751であり、わずか13件の陽性サンプルしか存在しない極めて不均衡なクラスであるにもかかわらず、データ不均衡に対する強い頑健性を示した。
• 文脈に依存する埋め込み（例：BERT、XLNet）の使用は、BOW や tf-idf といった従来手法を著しく上回り、正解率の向上が最大15ポイントにのぼった。
• LSTM層における注目メカニズムが、不安やコミュニケーション障害関連のスピーチセグメントを特定・優先し、モデルの解釈性を向上させた。
• マルチモーダルシステムは、すべての精神的障害カテゴリにおいて、単一モーダルベースライン（音声のみまたはテキストのみ）を一貫して上回った。
• ROC曲線解析により、特にうつ病および双極性障害において、マルチモーダルモデルが優れた識別性能を示すことが確認された。