[論文レビュー] Deep Learning for Depression Recognition with Audiovisual Cues: A Review

Lang He, Mingyue Niu+10 more|arXiv (Cornell University)|May 27, 2021

Emotion and Mood Recognition参考文献 169被引用数 15

ひとこと要約

このレビューでは、音声・映像的特徴を用いた自動うつ病評価（ADE）のためのディープラーニング手法を統合的に検討し、データベース、特徴抽出手法、マルチモーダル統合手法を分析している。ディープラーニングは手作業で作成された特徴量よりも優れた性能を示すことが強調されており、データの不均衡、少数の学習例、臨床応用に向けた音声と映像モダリティの有効な統合といった主な課題が特定されている。

ABSTRACT

With the acceleration of the pace of work and life, people have to face more and more pressure, which increases the possibility of suffering from depression. However, many patients may fail to get a timely diagnosis due to the serious imbalance in the doctor-patient ratio in the world. Promisingly, physiological and psychological studies have indicated some differences in speech and facial expression between patients with depression and healthy individuals. Consequently, to improve current medical care, many scholars have used deep learning to extract a representation of depression cues in audio and video for automatic depression detection. To sort out and summarize these works, this review introduces the databases and describes objective markers for automatic depression estimation (ADE). Furthermore, we review the deep learning methods for automatic depression detection to extract the representation of depression from audio and video. Finally, this paper discusses challenges and promising directions related to automatic diagnosing of depression using deep learning technologies.

研究の動機と目的

• 音声・映像的特徴を用いた自動うつ病評価（ADE）のためのディープラーニング手法を包括的にレビューすること。
• ADE研究で用いられる既存のデータベースと客観的指標を分析し、マルチモーダルデータ統合の重要性を強調すること。
• ADEにおける主な課題、特にデータの不均衡、限られた学習サンプル、音声および映像特徴の有効な統合を特定すること。
• 従来のレビューで不足しているディープラーニングを用いたマルチモーダルアプローチに焦点を当て、既存の文献とのギャップを埋めること。
• 臨床応用に向けたADEシステムの今後の研究を導くために、有望な方向性を提示すること。

提案手法

• 2013年から2021年までの123件のADE関連研究（音声、映像、マルチモーダルデータを対象）を体系的にレビュー。
• 特にディープ畳み込みニューラルネットワーク（DCNNs）を用いた特徴抽出のためのディープラーニングアーキテクチャを分類・評価。
• 手作業で作成された特徴量（例：LBP、LPQ-TOP、FAUs）からディープラーニングベースの表現へのADEの進化を分析。
• 音声と映像の特徴を統合することで、うつ病の重症度推定を向上させるマルチモーダル統合戦略を評価。
• 特に不均衡なデータセットにおいても標準的な指標（正確度、F1スコア、AUC）を用いて性能を評価。
• 今後の手法的アプローチとして、手作業特徴量とディープラーニング特徴量を組み合わせたハイブリッドモデル、および音声・映像・テキスト・生理的信号を含むマルチモーダルデータ収集の可能性を提案。

実験結果

リサーチクエスチョン

• RQ1 音声・映像的特徴を用いた自動うつ病評価において、ディープラーニングモデルの性能とアーキテクチャはどのように進化してきたか？
• RQ2 音声および映像からうつ病をモデル化するための、最も効果的なディープラーニングアーキテクチャと特徴抽出技術は何か？
• RQ3 マルチモーダル統合戦略は、単一モダリティアプローチと比較して、うつ病の重症度推定の精度と頑健性をどのように向上させるか？
• RQ4 特にデータの不均衡、限られた学習サンプル、モデルの一般化能力という点で、ADEにおける主な課題は何か？
• RQ5 手作業特徴量とディープラーニング特徴量を効果的に組み合わせることで、ADEの性能をどのように向上させられるか？

主な発見

• 特にDCNNを用いたディープラーニングモデルは、LBP や LPQ-TOP といった従来の手作業特徴量よりも、自動うつ病評価において優れた性能を示す。
• 音声と映像データを統合するマルチモーダルADEシステムは、単一モダリティアプローチよりも高い性能を達成しており、補完的な特徴を活用している。
• データの不均衡は依然として深刻な問題である。例えば、AVEC2014では、軽度うつ病（BDI-II 0–9）のクラスに著しく多くのサンプルが存在し、モデルのバイアスに影響を与えている。
• 高い性能を示しているにもかかわらず、ディープラーニングモデルは依然として少数の学習例や多様な集団・臨床現場への一般化に課題を抱えている。
• 手作業特徴量とディープラーニング特徴量を組み合わせたハイブリッドアーキテクチャは、識別力の向上とモデルの頑健性向上の面で有望である。
• 今後のADEシステムは、音声・映像・テキスト・生理的信号を含むマルチモーダルデータの統合を図り、オープンデータおよびコード共有を促進することで、臨床応用の加速が期待される。