[论文解读] Decoupled Multimodal Distilling for Emotion Recognition

Yong Li, Yuanzhi Wang+1 more|arXiv (Cornell University)|Mar 24, 2023

Emotion and Mood Recognition被引用 9

一句话总结

DMD 将多模态特征解耦为模态无关与私有空间，并使用双图蒸馏单元在语言、视觉和音频之间进行自适应知识传 transfer，以实现对 MOSI 和 MOSEI 的最新效果。

ABSTRACT

Human multimodal emotion recognition (MER) aims to perceive human emotions via language, visual and acoustic modalities. Despite the impressive performance of previous MER approaches, the inherent multimodal heterogeneities still haunt and the contribution of different modalities varies significantly. In this work, we mitigate this issue by proposing a decoupled multimodal distillation (DMD) approach that facilitates flexible and adaptive crossmodal knowledge distillation, aiming to enhance the discriminative features of each modality. Specially, the representation of each modality is decoupled into two parts, i.e., modality-irrelevant/-exclusive spaces, in a self-regression manner. DMD utilizes a graph distillation unit (GD-Unit) for each decoupled part so that each GD can be performed in a more specialized and effective manner. A GD-Unit consists of a dynamic graph where each vertice represents a modality and each edge indicates a dynamic knowledge distillation. Such GD paradigm provides a flexible knowledge transfer manner where the distillation weights can be automatically learned, thus enabling diverse crossmodal knowledge transfer patterns. Experimental results show DMD consistently obtains superior performance than state-of-the-art MER methods. Visualization results show the graph edges in DMD exhibit meaningful distributional patterns w.r.t. the modality-irrelevant/-exclusive feature spaces. Codes are released at \url{https://github.com/mdswyz/DMD}.

研究动机与目标

• 在强模态异质性下推动鲁棒的多模态情感识别（MER）。
• 提出一种解耦特征框架，将模态分成公共（无关）和私有（专属）分量。
• 开发两种图蒸馏单元（HomoGD 和 HeteroGD），实现自适应跨模态知识迁移。
• 利用自回归式解耦结合边际和正交性约束加强解耦。
• 在公开数据集上展示优越的 MER 性能并提供学习到的跨模态交互可视化。

提出的方法

• 通过共享编码器和模态特定编码器，将每个模态解耦为公共（完全或大部分模态无关）空间和私有（模态专属）空间。
• 使用自回归重构耦合特征，并通过重构和循环损失强化解耦。
• 应用边际损失以强制同质特征在情感与模态之间具有意义上的分离。
• 引入一个图蒸馏单元（GD-Unit），在每个解耦空间内执行自适应跨模态知识蒸馏。
• HomoGD 使用学习到的蒸馏图及动态权重对同质特征进行知识蒸馏。
• HeteroGD 使用多模态变换器在蒸馏前对异质特征进行对齐，以桥接分布差异。
• 将经过强化的同质特征与强化的异质特征融合用于最终 MER 预测。
• 目标函数结合任务损失、解耦损失与蒸馏损失：L_total = L_task + λ1 L_dec + λ2 L_dtl。

Figure 1 : (a) illustrates the significant emotion recognition discrepancies using unimodality, adapted from Mult [ 28 ] . (b) shows the conventional cross-modal distillation. (c) shows our proposed decoupled multimodal distillation (DMD) method. DMD consists of two graph distillation (GD) units: ho

实验结果

研究问题

• RQ1 在跨模态异质性下，将模态表示解耦为模态无关和模态专属空间是否能提升 MER 性能？
• RQ2 动态、学习的蒸馏图（HomoGD/HeteroGD）是否比固定或简单融合策略提供更好的跨模态知识传递？
• RQ3 解耦特征在不同模态和情感中的演化如何，学习到的图边缘揭示了哪些模式？
• RQ4 在 MER 的单模态 vs 多模态融合中，图蒸馏与跨模态注意力对融合效果有何影响？

主要发现

• 在对齐和非对齐设置下，DMD 对 CMU-MOSI 与 CMU-MOSEI 的准确率具有优势或竞争力，超越或接近当前最佳方法。
• 将解耦为同质与异质空间并结合图蒸馏，普遍提升 MER 的性能，相对基线更加优秀。
• HomoGD 主要将语言视为强贡献来源，在许多情况下出现 L→A 和 L→V 边 dominant，反映模态贡献。
• HeteroGD 通过跨模态注意力弥合分布差异，揭示有意义的跨模态交互（如 V→A 获得提升）。
• 消融研究表明，特征解耦（FD）加上两个 GD 单元可获得最佳结果，去除 CA 或一个 GD 单元将降低性能。
• 可视化显示解耦空间提高了类别可分性：同质空间按情感聚类，异质空间按模态聚类。

Figure 2 : The framework of DMD. Given the input multimodal data, DMD encodes their respective shallow features $\widetilde{\mathbf{X}}_{m}$ , where $m\in\{L,V,A\}$ . In feature decoupling , DMD exploits the decoupled homo-/heterogeneous multimodal features $\mathbf{X}^{\text{com}}_{m}$ / $\mathbf{X