[論文レビュー] Multi-modal deep learning system for depression and anxiety detection

Brian Diep, Marija Stanojević+1 more|arXiv (Cornell University)|Dec 30, 2022

Mental Health via Writing被引用数 5

ひとこと要約

本論文では、自宅で実施する会話タスクからの音声およびテキスト表現を自己学習型の手法で学習し、手作業で設計された臨床的特徴と統合するマルチモーダル深層学習システムを提案する。Wav2Vec 2.0を用いた音声処理、RoBERTaを用いた転写テキスト処理、および専門家が設計した特徴量を組み合わせることで、うつ病のF1スコアは0.63、不安障害のF1スコアは0.57に向上。これは、手作業特徴量のみを用いた場合の0.58および0.54から改善された結果である。

ABSTRACT

Traditional screening practices for anxiety and depression pose an impediment to monitoring and treating these conditions effectively. However, recent advances in NLP and speech modelling allow textual, acoustic, and hand-crafted language-based features to jointly form the basis of future mental health screening and condition detection. Speech is a rich and readily available source of insight into an individual's cognitive state and by leveraging different aspects of speech, we can develop new digital biomarkers for depression and anxiety. To this end, we propose a multi-modal system for the screening of depression and anxiety from self-administered speech tasks. The proposed model integrates deep-learned features from audio and text, as well as hand-crafted features that are informed by clinically-validated domain knowledge. We find that augmenting hand-crafted features with deep-learned features improves our overall classification F1 score comparing to a baseline of hand-crafted features alone from 0.58 to 0.63 for depression and from 0.54 to 0.57 for anxiety. The findings of our work suggest that speech-based biomarkers for depression and anxiety hold significant promise in the future of digital health.

研究の動機と目的

• 自宅で実施する会話タスクを用いた、スケーラブルで客観的なうつ病および不安障害のスクリーニングツールの開発。
• 従来のスクリーニング手法の限界、すなわち患者の関与度の低さ、臨床医の負担、標準化の欠如を解消すること。
• 音声およびテキストからの最先端の深層学習表現と、ドメインに即した手作業特徴量を統合することで、分類性能の向上を図ること。
• 音声的特徴、言語的特徴、臨床的特徴の複数モダリティを統合することで、個々の特徴セットを超えて、うつ病および不安障害の検出性能が向上するかどうかを調査すること。

提案手法

• モデルは、生の音声からWav2Vec 2.0を用いて深層学習特徴量を抽出し、その後2層の双方向LSTMと2ヘッドのマルチヘッドアテンション機構を経て、音声埋め込み表現（R1）を生成する。
• テキスト的コンテンツの処理には、会話の転写文にRoBERTaを適用し、出力を2層のbiLSTMおよび2ヘッドのマルチヘッドアテンション層で処理して、言語的埋め込み表現（R2）を生成する。
• 手作業特徴量（R3）は、話者の速度、代名詞使用頻度、プロソディックパターンなど、臨床的に妥当なマーカーをドメインエキスパートの知見をもとに抽出し、第3のモダリティとして追加する。
• 3つの表現（R1, R2, R3）は連結され、ReLU活性化関数を用いた2層の全結合層を経て、統合埋め込み表現が生成され、バイナリクロスエントロピー損失を用いて最適化される。
• システムは、促進されたナラティブおよび意味的フレキシビリティタスクを含む、自宅で実施する会話タスクのデータセットを用いて、5分割交差検証法で訓練および評価される。
• バイナリ分類は、PHQ-8（うつ病）およびGAD-7（不安障害）のスコア閾値10を基準とし、25.3%の被験者がうつ病陽性、12.8%が不安障害陽性と分類された。

実験結果

リサーチクエスチョン

• RQ1 音声およびテキストからの深層学習特徴量と、手作業で設計された臨床的特徴量を統合することで、手作業特徴量のみを用いた場合と比較して、うつ病および不安障害の検出性能が向上するか？
• RQ2 深層学習特徴量の導入が、自宅で実施する会話タスクからのうつ病および不安障害の検出におけるF1スコアに与える影響はいかほどか？
• RQ3 特に不安障害症例のデータ不均衡が、モデルの性能および一般化能力に与える影響はどの程度か？
• RQ4 モデルは、うつ病の検出においても、不安障害の検出においても、どちらの方が優れた性能を示すか？その性能差の背後にある要因は何か？

主な発見

• 深層学習特徴量と手作業特徴量の統合により、うつ病検出のF1スコアは、手作業特徴量のみの場合の0.58から0.63に向上した。
• 不安障害検出においては、深層学習特徴量の追加により、F1スコアは手作業特徴量のみの0.54から0.57に向上した。
• 全体のF1スコアとして、うつ病（0.63）は不安障害（0.57）よりも高い値を示した。これは、不安障害症例のデータ不均衡（陽性例12.8% vs うつ病25.3%）が主な要因と考えられる。
• モデルは「診断あり」クラスの予測に対して「診断なし」クラスの予測よりも困難を示しており、クラス不均衡および長尾分布に起因する課題が顕在化している。
• 不安障害における音声的特徴量の重症度依存性の変動は、うつ病に比べて小さく、これは、不安障害が音声ベースの検出においてより困難なターゲットである可能性を示唆している。
• 手作業特徴量と深層学習特徴量の併用により、音声からの信号抽出が最大限に実現された。臨床的知見と現代の表現学習技術の統合の価値が裏付けられた。