[论文解读] Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment Analysis

Haoyu Zhang, Yu Wang+4 more|arXiv (Cornell University)|Oct 9, 2023

Multimodal Machine Learning ApplicationsComputer Science参考文献 29被引用 3

一句话总结

本文提出了一种新型框架——自适应语言引导多模态Transformer（ALMT），该框架通过自适应超模态学习（AHL）模块，在语言引导下抑制视觉和音频模态中与情感无关及冲突的信息。通过学习一种鲁棒且统一的超模态表示，ALMT在MOSI、MOSEI和CH-SIMS数据集上实现了最先进性能，且泛化能力和稳定性均得到提升。

ABSTRACT

Though Multimodal Sentiment Analysis (MSA) proves effective by utilizing rich information from multiple sources (e.g., language, video, and audio), the potential sentiment-irrelevant and conflicting information across modalities may hinder the performance from being further improved. To alleviate this, we present Adaptive Language-guided Multimodal Transformer (ALMT), which incorporates an Adaptive Hyper-modality Learning (AHL) module to learn an irrelevance/conflict-suppressing representation from visual and audio features under the guidance of language features at different scales. With the obtained hyper-modality representation, the model can obtain a complementary and joint representation through multimodal fusion for effective MSA. In practice, ALMT achieves state-of-the-art performance on several popular datasets (e.g., MOSI, MOSEI and CH-SIMS) and an abundance of ablation demonstrates the validity and necessity of our irrelevance/conflict suppression mechanism.

研究动机与目标

• 为解决非主导模态（如视觉和音频）中与情感无关及冲突信息对多模态情感分析（MSA）性能的负面影响。
• 通过学习一种联合互补表示来改善多模态融合，减少冗余或冲突特征的干扰。
• 通过可学习的语言引导机制显式建模模态特异性干扰（如光照、噪声）。
• 通过缩小模态间分布差距，实现更鲁棒和可泛化的感情预测。
• 通过广泛的消融实验和可视化，验证所提出无关性/冲突抑制机制的必要性和有效性。

提出的方法

• 首先，使用带有可学习分类标记的Transformer将每种模态（文本、音频、视频）嵌入统一的序列表示，以减少冗余并缩短序列长度。
• 引入自适应超模态学习（AHL）模块，从音频和视觉特征中生成联合超模态表示，语言多尺度特征作为引导以抑制无关内容。
• AHL模块利用注意力机制，根据其与语言模态的相关性动态加权视觉和音频特征，生成紧凑且抗冲突的表示。
• 随后，跨模态融合Transformer以语言特征作为查询，以超模态特征作为键和值，学习用于情感分类的联合互补表示。
• 模型采用标准MSA损失函数进行端到端训练，包括回归（MAE、Corr）和分类（Acc-7、Acc-2）指标。
• 该框架在MOSI、MOSEI和CH-SIMS上进行评估，并通过消融研究和可视化分析模型的鲁棒性及各模态贡献。

实验结果

研究问题

• RQ1 语言引导的无关视觉和音频特征抑制在多模态情感分析性能上带来了多大提升？
• RQ2 所提出的AHL模块在多大程度上减少了音频与视觉特征之间的模态间和模态内分布差距？
• RQ3 当视觉和音频模态中出现噪声或无关帧时，模型是否仍保持鲁棒性？
• RQ4 AHL中多尺度语言引导如何影响超模态表示的质量？
• RQ5 在所提出的框架中，视觉模态与音频模态对最终情感预测的相对贡献如何？

主要发现

• ALMT在MOSI、MOSEI和CH-SIMS上均达到最先进性能，在分类和回归指标上均优于现有方法。
• 在CH-SIMS上，ALMT实现MAE为0.286，Corr为0.782，展现出在细粒度情感回归任务上的强大性能。
• 消融研究证实，若移除AHL模块，性能显著下降，验证了其在抑制干扰特征方面的必要性。
• 可视化结果表明，当在关键帧中加入随机噪声时，语言与视觉特征之间的注意力权重显著降低，证实AHL具备抑制与情感无关信息的能力。
• t-SNE可视化结果表明，来自音频和视觉模态的超模态表示收敛至共享分布，有效减少了模态差异。
• 收敛性分析显示，ALMT在训练和验证集上均表现出更小的波动和更优的泛化能力，训练过程比SOTA基线模型（如MulT、MISA和Self-MM）更稳定。