[論文レビュー] Predicting Depression Severity by Multi-Modal Feature Engineering and Fusion

Aven Samareh, Yan Jin+3 more|arXiv (Cornell University)|Nov 29, 2017

Emotion and Mood Recognition参考文献 3被引用数 5

ひとこと要約

本論文では、音声、視覚的、およびテキスト特徴を統合するマルチモodal融合モデルを提案し、単一モダリティモデルよりもPHQ-8抑うつ重症度スコアをより正確に予測する。信頼度に基づく意思決定レベルの統合（予測の信頼度が最も高いモダリティの予測が選択される）を用いることで、モデルはテストRMSE 4.68およびMAE 4.31を達成し、AVEC2017ベースラインおよび単一モダリティアプローチを上回った。

ABSTRACT

We present our preliminary work to determine if patient's vocal acoustic, linguistic, and facial patterns could predict clinical ratings of depression severity, namely Patient Health Questionnaire depression scale (PHQ-8). We proposed a multi modal fusion model that combines three different modalities: audio, video , and text features. By training over AVEC 2017 data set, our proposed model outperforms each single modality prediction model, and surpasses the data set baseline with ice margin.

研究の動機と目的

• 声の音声的特徴、言語的特徴、および顔のパターンが、客観的に臨床的抑うつ重症度を予測できるかどうかを調査すること。
• AVEC2017データセットからの音声、動画、およびテキストデータのためのマルチモダリティ特徴工学パイプラインを構築すること。
• 信頼度に基づく意思決定レベルの統合戦略を用いて、複数のモダリティを統合することで予測性能を向上させること。
• PHQ-8スコアにおいて、モデルの性能をAVEC2017ベースラインおよび単一モダリティモデルと比較して評価すること。
• 各モダリティの相対的な情報量および支配的特性が、抑うつ重症度予測に与える影響を調査すること。

提案手法

• F0、H1/H2、MCEP、HMPDM、およびデルタ/デルタ・デルタ係数を含む、COVAREPに由来する記述子を用いて1,425個の音声特徴を抽出した。
• 68個の顔面ランドマークから133個の視覚的特徴を計算し、左目、右目、および口の領域ごとのグループ化を施した。特徴には、ペアワイズのユークリッド距離と角度が含まれた。
• AFINNセンチメント分析を用いて8個のテキスト特徴を抽出した。これには、センチメントスコアの平均、中央値、最小値、最大値、標準偏差に加え、抑うつ関連語の比率が含まれた。
• 各モダリティに対して独立してランダムフォレスト回帰器を適用し、予測スコアを生成した。
• 信頼度に基づく統合戦略を実装し、木の予測における標準偏差が最大（＝信頼度が最も高い）モダリティの予測が最終出力として選択された。
• 勝者1つ取り戦略を用い、各モダリティごとの信頼度スコアが最も高い予測を単一の出力として選択することで、ノイズを低減し、モデルのロバスト性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 声の音声的特徴、言語的特徴、および顔のパターンが、単一モダリティモデルよりもPHQ-8抑うつ重症度をより正確に予測できるか？
• RQ2 信頼度に基づく意思決定レベルの統合は、単純平均化や他の統合戦略と比較して、マルチモダリティ抑うつ予測においてどのように異なるか？
• RQ3 音声、視覚的、またはテキストのどのモダリティが予測において支配的になる傾向があり、これはモダリティの情報量にどのような意味を持つのか？
• RQ4 センチメントベースのテキスト特徴および抑うつ関連語の比率は、予測性能をどの程度向上させるか？
• RQ5 性別などの人口統計的変数の組み込みが、モデルの予測性能にどの程度影響を与えるか？

主な発見

• 提案された信頼度に基づく統合モデルは、開発セットにおいてテストセットRMSE 4.68およびMAE 4.31を達成し、AVEC2017ベースライン（RMSE: 5.42、MAE: 5.29）を顕著に上回った。
• 音声のみのモデルが開発セットで最高の単一モダリティ性能を示し、RMSE 5.45およびMAE 4.52を達成した。これは、音声モダリティが強い予測力を持っていることを示している。
• 性別を含めた統合モデルが、最低のテストRMSE（4.23）およびMAE（3.89）を達成し、人口統計的特徴の統合による利点を示した。
• 音声モダリティが一貫して予測を支配した。これは、音声モダリティがより高い信頼度スコアを示しており、より信頼性が高く判別力のある情報を保持していることを示唆している。
• AFINNセンチメント特徴の追加により性能が顕著に向上した。これは、感情の価値に基づくセンチメント分析が、抑うつ重症度予測において価値ある情報であることを示している。
• 沈黙検出やフォルマント分析の特徴の最適化により、モデルの性能がさらに向上した。これは、特徴工学による今後の改善の余地があることを示している。