[論文レビュー] IDRL: An Individual-Aware Multimodal Depression-Related Representation Learning Framework for Depression Diagnosis

Chongxiao Wang, Junjie Liang+3 more|arXiv (Cornell University)|Mar 12, 2026

Emotion and Mood Recognition被引用数 0

ひとこと要約

IDRL は multimodal な抑うつの手掛かりを共通・特異・関連しない空間に分離し、個人対応型のフュージョンを用いて各モダリティ間で頑健な抑うつ診断を実現する。

ABSTRACT

Depression is a severe mental disorder, and reliable identification plays a critical role in early intervention and treatment. Multimodal depression detection aims to improve diagnostic performance by jointly modeling complementary information from multiple modalities. Recently, numerous multimodal learning approaches have been proposed for depression analysis; however, these methods suffer from the following limitations: 1) inter-modal inconsistency and depression-unrelated interference, where depression-related cues may conflict across modalities while substantial irrelevant content obscures critical depressive signals, and 2) diverse individual depressive presentations, leading to individual differences in modality and cue importance that hinder reliable fusion. To address these issues, we propose Individual-aware Multimodal Depression-related Representation Learning Framework (IDRL) for robust depression diagnosis. Specifically, IDRL 1) disentangles multimodal representations into a modality-common depression space, a modality-specific depression space, and a depression-unrelated space to enhance modality alignment while suppressing irrelevant information, and 2) introduces an individual-aware modality-fusion module (IAF) that dynamically adjusts the weights of disentangled depression-related features based on their predictive significance, thereby achieving adaptive cross-modal fusion for different individuals. Extensive experiments demonstrate that IDRL achieves superior and robust performance for multimodal depression detection.

研究の動機と目的

• robust multimodal depression detection を多モダリティ間の一貫性不足・個人表現差にも耐えうる形で動機づける。
• モダリティ共通情報、モダリティ固有情報、抑うつ関連でない情報を分離するフレームワークを提案する。
• 個人ごとに適応的に特徴を重み付けする個人対応型フュージョン機構を導入する。
• ベンチマークデータセット AVEC-2014 と Twitter でのアブレーション・可視化を通じて有効性を検証する。

提案手法

• モダリティ別エンコーダを用いて multimodal 表現を modality-common (F_c^m), modality-specific (F_s^m), and depression-unrelated (N_c^m, N_s^m) 空間に分離する。
• 自己再構成およびクロスモーダル再構成を通じて情報保持とモダリティ間相互作用を強制する。
• Central Moment Discrepancy (CMD) を適用して modality-common 特徴をモダリティ間で揃える。
• 低次元直交正則化（soft orthogonal regularizer）を用いて分離された空間間の分離を促進する。
• concatenated features へ基づく個人対応型アテンションフュージョンから得られる F_S で抑うつを予測する。
• 情報性のあるフュージョンと予測重要性との整合性を促進する補助的寄与・整合性損失を導入する。
• 予測、分離、個人対応成分を重み付きで統合した総損失を最適化する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ共通情報、モダリティ固有情報、および抑うつ関連ではない情報を分離することは、クロスモーダル抑うつ検出を改善するか。
• RQ2 個人対応型フュージョンモジュールは、異なる抑うつ表現を持つ個人間で適応的なマルチモーダル融合を改善するか。
• RQ3 提案損失成分はモデル性能と特徴分離品質にどのように影響するか。
• RQ4 手法は異なるモダリティペア（動画/音声とテキスト/画像）およびデータセット間で一般化するか。

主な発見

• IDRL は AVEC-2014 の video+audio で最先端の結果を達成し、Twitter の text+image でも同様に高得点を達成した。
• モダリティを共通・固有・関連なし空間へ分離することで干渉を低減し、整合を改善した。
• 個人対応型フュージョンは適応的な重み付けを提供し、非適応型フュージョンより良い性能を示した。
• アブレーションにより正交性損失と CMD 損失が性能と分離品質に不可欠であることが示された。
• 可視化（t-SNE、Grad-CAM++）は全モデル使用時に特徴空間の分離が明確になり、予測の重要な手掛かりがより集中することを示した。