[論文レビュー] The Verbal and Non Verbal Signals of Depression -- Combining Acoustics, Text and Visuals for Estimating Depression Level

Syed Arbaaz Qureshi, Mohammed Hasanuzzaman+2 more|arXiv (Cornell University)|Apr 2, 2019

Mental Health via Writing参考文献 27被引用数 16

ひとこと要約

本稿では、PHQ-8スケールを用いて抑うつ症状の重症度を推定するため、音声、テキスト、視覚の3モダリティを統合する注目メカニズムを備えた深層ニューラルネットワークを提案する。7つのモダリティ固有の特徴を統合し、注目メカニズムを活用することで、DAIC-WOZデータセット上で先行手法と比較してRMSEを7.17%、MAEを8.08%低減し、最先端の性能を達成した。

ABSTRACT

Depression is a serious medical condition that is suffered by a large number of people around the world. It significantly affects the way one feels, causing a persistent lowering of mood. In this paper, we propose a novel attention-based deep neural network which facilitates the fusion of various modalities. We use this network to regress the depression level. Acoustic, text and visual modalities have been used to train our proposed network. Various experiments have been carried out on the benchmark dataset, namely, Distress Analysis Interview Corpus - a Wizard of Oz (DAIC-WOZ). From the results, we empirically justify that the fusion of all three modalities helps in giving the most accurate estimation of depression level. Our proposed approach outperforms the state-of-the-art by 7.17% on root mean squared error (RMSE) and 8.08% on mean absolute error (MAE).

研究の動機と目的

• 多様な行動的信号を統合することで、抑うつ症状の重症度推定の精度を向上させるマルチモーダル深層学習フレームワークの開発。
• 抑うつ症状の重症度予測における、言語的（テキスト）、身体的（音声）、非言語的（視覚）の各特徴の相対的寄与度の解明。
• 注目メカニズムが、入力内容に応じて動的にモダリティの重みを割り当てることで、統合の際の性能向上に寄与する有効性の検証。
• 抑うつ症状推定のベンチマークデータセットDAIC-WOZにおいて、既存の最先端手法を上回ることの検証。

提案手法

• 本モデルは、7つの異なるモダリティストリーム（2つの音声：プロソディックおよびスペクトル、1つのテキスト：トランスクリプト埋め込み、4つの視覚：頭部ポーズ、注視、笑顔、自己接触）を処理するマルチモーダル注目メカニズム統合ネットワーク（CombAtt）を採用する。
• 各モダリティは、専用の深層ニューラルネットワークを介して別々に符号化され、その後、連結および注目メカニズムによる重み付けを経て統合表現が生成される。
• 統合表現は、ReLU活性化関数とドロップアウト（率0.25および0.2）を用いた2層の全結合層を通過し、正則化が施される。
• 最終層では、PHQ-8スコア（0–24）の回帰予測が行われ、エンド・トゥ・エンド学習のための平均二乗誤差損失関数が使用される。
• 注目メカニズムは、推論中に各モダリティの動的重みを学習し、入力内容に応じた適応的統合を可能にする。
• 複数の統合構成（注目なし、特定モダリティ欠落など）を比較する実験により、各要因の寄与度を特定する。

実験結果

リサーチクエスチョン

• RQ1 音声、テキスト、視覚の3モダリティを統合することで、単一または部分的なモダリティの組み合わせよりも、抑うつ症状の重症度推定が向上するか？
• RQ2 注目メカニズムは、固定重みまたは統合なしの戦略と比較して、マルチモーダルな抑うつ症状推定の性能をどのように向上させるか？
• RQ3 テキスト、音声、視覚のうち、どのモダリティがPHQ-8スコア予測において最も顕著に寄与しているか？
• RQ4 提案手法は、DAIC-WOZベンチマークにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• 音声、テキスト、視覚の3モダリティをすべて統合した場合が最良の性能を示し、RMSEは4.14、MAEは3.07を記録。他のすべての組み合わせを顕著に上回った。
• テキストモダリティ単体が予測精度に最も寄与しており、ME TRモデルがRMSE（4.80）とMAE（3.74）を最低に達成した。これは臨床的直感を裏付ける結果であった。
• 提案手法のCombAttは、以前のSOTA手法（VFSC semantic）と比較して、RMSEを7.17%、MAEを8.08%低減した。統計的に有意な改善が確認された。
• 注目メカニズムにより、モダリティの動的重み付けが可能となり、性能が向上した。注目なしの変種（RMSE: 4.69 vs. 4.14）に比べ、CombAttの結果が優れていた。
• 平均PHQ-8スコアを予測するベースライン（RMSE=5.73、MAE=4.74）を上回る性能を示しており、意味のある回帰能力を有していることが証明された。
• 全構成の中でも、CombAttが全モダリティ統合を採用した場合に最も高い説明分散スコア（EVS=0.62）を達成し、強力な予測能力を示した。