[论文解读] IDRL: An Individual-Aware Multimodal Depression-Related Representation Learning Framework for Depression Diagnosis

Chongxiao Wang, Junjie Liang+3 more|arXiv (Cornell University)|Mar 12, 2026

Emotion and Mood Recognition被引用 0

一句话总结

IDRL 将多模态抑郁线索解缠为共同、特定和无关的空间，并使用个体感知的融合来自适应权衡跨模态特征，以实现对抑郁诊断的鲁棒性。

ABSTRACT

Depression is a severe mental disorder, and reliable identification plays a critical role in early intervention and treatment. Multimodal depression detection aims to improve diagnostic performance by jointly modeling complementary information from multiple modalities. Recently, numerous multimodal learning approaches have been proposed for depression analysis; however, these methods suffer from the following limitations: 1) inter-modal inconsistency and depression-unrelated interference, where depression-related cues may conflict across modalities while substantial irrelevant content obscures critical depressive signals, and 2) diverse individual depressive presentations, leading to individual differences in modality and cue importance that hinder reliable fusion. To address these issues, we propose Individual-aware Multimodal Depression-related Representation Learning Framework (IDRL) for robust depression diagnosis. Specifically, IDRL 1) disentangles multimodal representations into a modality-common depression space, a modality-specific depression space, and a depression-unrelated space to enhance modality alignment while suppressing irrelevant information, and 2) introduces an individual-aware modality-fusion module (IAF) that dynamically adjusts the weights of disentangled depression-related features based on their predictive significance, thereby achieving adaptive cross-modal fusion for different individuals. Extensive experiments demonstrate that IDRL achieves superior and robust performance for multimodal depression detection.

研究动机与目标

• 在存在模态间不一致和个体呈现差异的情况下，推动鲁棒的多模态抑郁检测。
• 提出一种将模态共同信息、模态特定信息和抑郁无关信息解缠的框架。
• 引入一个个体感知的融合机制，以对每个个体自适应加权特征。
• 在基准数据集 AVEC-2014 和 Twitter 上通过消融和可视化验证有效性。

提出的方法

• 使用模态逐一编码器，将多模态表征解缠为模态共同空间（F_c^m）、模态特定空间（F_s^m）以及抑郁无关空间（N_c^m, N_s^m）。
• 通过自我重建和跨模态重建来重构原始特征，以强化信息保持与跨模态交互。
• 应用中心矩不一致性（CMD）对齐模态共同特征在各模态之间的一致性。
• 使用软正交正则化，鼓励解缠空间之间的分离。
• 使用基于注意力的个体感知融合，对连接特征进行自适应加权，从而得到融合表示 F_S 并进行抑郁预测。
• 引入辅助贡献和对齐损失，促进信息量丰富的融合以及与预测重要性的一致性。
• 将诊断、解缠和个体感知分量组成的总损失进行优化，并设定权重。

实验结果

研究问题

• RQ1 将模态共同信息、模态特定信息与抑郁无关信息解缠是否能提升跨模态抑郁检测的性能？
• RQ2 个体感知融合模块是否能在不同抑郁呈现的个体间提升自适应多模态融合？
• RQ3 所提损失分量如何影响模型性能与特征解缠质量？
• RQ4 所提方法是否能在不同模态对（视频/音频与文本/图像）和数据集上实现泛化？

主要发现

• IDRL 在 AVEC-2014 的视频+音频上以及 Twitter 的文本+图像上均达到最新性能（state-of-the-art）。
• 将模态解缠为共同、特定和无关空间可减少干扰并提升对齐。
• 个体感知融合提供自适应加权，性能优于非自适应融合。
• 消融实验显示正交性损失和 CMD 损失对性能与解缠质量至关重要。
• 可视化（t-SNE、Grad-CAM++）显示使用全模型时特征空间分离更清晰、预测线索更聚焦。