[论文解读] DLF: Disentangled-Language-Focused Multimodal Sentiment Analysis

Pan Wang, Qiang Zhou+3 more|arXiv (Cornell University)|Dec 16, 2024

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

DLF 提出了一种解耦的多模态框架，强调语言聚焦的增强，以缓解多模态情感分析中语言、视觉和音频之间的冗余，通过在 MOSI 和 MOSEI 上的实验验证其组件的有效性，取得了优越的结果。

ABSTRACT

Multimodal Sentiment Analysis (MSA) leverages heterogeneous modalities, such as language, vision, and audio, to enhance the understanding of human sentiment. While existing models often focus on extracting shared information across modalities or directly fusing heterogeneous modalities, such approaches can introduce redundancy and conflicts due to equal treatment of all modalities and the mutual transfer of information between modality pairs. To address these issues, we propose a Disentangled-Language-Focused (DLF) multimodal representation learning framework, which incorporates a feature disentanglement module to separate modality-shared and modality-specific information. To further reduce redundancy and enhance language-targeted features, four geometric measures are introduced to refine the disentanglement process. A Language-Focused Attractor (LFA) is further developed to strengthen language representation by leveraging complementary modality-specific information through a language-guided cross-attention mechanism. The framework also employs hierarchical predictions to improve overall accuracy. Extensive experiments on two popular MSA datasets, CMU-MOSI and CMU-MOSEI, demonstrate the significant performance gains achieved by the proposed DLF framework. Comprehensive ablation studies further validate the effectiveness of the feature disentanglement module, language-focused attractor, and hierarchical predictions. Our code is available at https://github.com/pwang322/DLF.

研究动机与目标

• 通过减少模态间的冗余与冲突来推动多模态情感分析（MSA）的提升，认识到语言是主导模态。
• 开发一个解耦表示学习框架，以分离共享信息和模态特定信息。
• 通过语言聚焦吸引子增强语言表示，利用互补模态信息。
• 融合增强特征并应用分层预测，以改进整体情感估计。

提出的方法

• 使用单模态编码器进行特征提取（语言采用 BERT-base-uncased；视觉采用 Facet；音频采用 COVAREP）。
• 使用共享编码器和三个模态特定编码器将多模态特征解耦为模态共享空间和模态特定空间。
• 用基于欧氏距离和余弦相似度的四种几何度量，以及重构损失、三元组损失和软正交损失，对解耦进行正则化。
• 引入语言聚焦吸引子（LFA），利用以语言为中心的多模态交叉注意力，将其他模态（V 和 A）的互补信息引入语言特征。
• 通过多模态融合层融合增强的共享特征和模态特定特征，随后进行分层预测（共享、特定和最终）。
• 通过将解耦损失和总的 MSA 损失结合在一起来进行端到端训练的优化。

实验结果

研究问题

• RQ1 将共享表示与模态特定表示解耦是否可以减少冗余并提升 MSA 性能？
• RQ2 通过 LFA 将信息传递聚焦到主导语言模态是否会提升情感预测的准确性？
• RQ3 利用预融合和后融合特征的分层预测是否能比单输出基线获得更好的结果？
• RQ4 所提出的正则化项如何影响解耦质量和模型性能？
• RQ5 每个组件（FDM、LFA、HP）对整体性能的贡献是什么？

主要发现

• DLF 在 MOSI 和 MOSEI 上优于多种基线，并且从语言聚焦吸引子中观察到显著提升。
• 消融研究证实特征解耦模块、LFA 和分层预测在提升准确性方面的有效性。
• 移除 LFA 或 FDM 会显著降低性能，验证了它们在减少冗余和增强语言模态的模态特定特征方面的作用。
• 正则化项（Lr、Ls、Lm、Lo）共同促进了稳健的解耦和预测质量。