[论文解读] Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis

Sijie Mai, Ying Zeng+2 more|arXiv (Cornell University)|Sep 4, 2021

Sentiment Analysis and Opinion Mining被引用 13

一句话总结

该论文提出 HyCon，一种用于多模态情感分析的新型混合对比学习框架，通过联合优化模内、模间和半对比学习，减少模态差异并保留类间关系。通过引入带精炼项和模态边距的监督对比学习，HyCon 在公开数据集上实现了最先进性能，在准确率、F1 和 MAE 上显著优于现有方法。

ABSTRACT

The wide application of smart devices enables the availability of multimodal data, which can be utilized in many tasks. In the field of multimodal sentiment analysis (MSA), most previous works focus on exploring intra- and inter-modal interactions. However, training a network with cross-modal information (language, visual, audio) is still challenging due to the modality gap, and existing methods still cannot ensure to sufficiently learn intra-/inter-modal dynamics. Besides, while learning dynamics within each sample draws great attention, the learning of inter-class relationships is neglected. Moreover, the size of datasets limits the generalization ability of existing methods. To address the afore-mentioned issues, we propose a novel framework HyCon for hybrid contrastive learning of tri-modal representation. Specifically, we simultaneously perform intra-/inter-modal contrastive learning and semi-contrastive learning (that is why we call it hybrid contrastive learning), with which the model can fully explore cross-modal interactions, preserve inter-class relationships and reduce the modality gap. Besides, a refinement term is devised to prevent the model falling into a sub-optimal solution. Moreover, HyCon can naturally generate a large amount of training pairs for better generalization and reduce the negative effect of limited datasets. Extensive experiments on public datasets demonstrate that our proposed method outperforms existing works.

研究动机与目标

• 为通过改进跨模态表示学习来解决多模态情感分析（MSA）中持续存在的模态差距问题。
• 通过利用常被现有 MSA 方法忽略的类间关系，提升模型泛化能力。
• 通过基于对比学习的数据增强方法缓解小规模公开数据集导致的过拟合问题。
• 开发一个统一框架，同时捕捉样本内部及跨样本的模内与模间动态。
• 通过引入带精炼项和模态边距的新损失函数，提升联合跨模态嵌入的判别能力。

提出的方法

• HyCon 采用三种对比学习组件：模内对比学习（IAMCL）、模间对比学习（IEMCL）和半对比学习（SCL），适用于三模态数据（文本、语音、视觉）。
• IAMCL 和 IEMCL 是监督对比损失，旨在特征空间中拉近同类别嵌入的距离，同时推远不同类别嵌入的距离。
• SCL 仅关注每个样本内的正样本对，以聚合模态分布并减少模态差距，避免负样本对采样。
• 引入精炼项以在优化过程中防止次优解，提升收敛稳定性。
• 引入模态边距以在跨模态融合过程中保留模态特异性信息，实现更优的表示学习。
• 该框架可自然地从小批量中生成大规模正负样本对，提升泛化能力并减少在有限数据集上的过拟合。

实验结果

研究问题

• RQ1 联合优化模内、模间和半对比学习是否能提升多模态情感分析中的跨模态表示学习？
• RQ2 通过对比学习引入类间关系是否能增强小样本数据集上的模型泛化能力与性能？
• RQ3 精炼项与模态边距是否能提升所学嵌入的鲁棒性与判别能力？
• RQ4 与经典对比损失（如三元组损失、N-pair 损失、经典对比损失）相比，HyCon 在性能与泛化能力方面表现如何？
• RQ5 该混合对比学习框架在多大程度上减少了模态差距并提升了情感分类准确率？

主要发现

• 在 7 类情感分类基准上，HyCon 达到 46.6% 的准确率，比次佳方法（hard-triplet mining）高出 1.1 个百分点。
• 在 2 类设置下，HyCon 准确率达到 85.2%，较 hard-triplet mining 提高 0.9%，较无对比学习的最佳基线提高 1.7%。
• HyCon 的 F1 得分为 85.1%，比次佳方法（hard-triplet mining）高出 0.9 分，显著优于经典对比损失与 N-pair 损失。
• 模型将 MAE 降低至 0.713，明显优于经典对比损失（0.740）和三元组损失（0.797），表明回归性能更优。
• 相关性指标保持在 0.790，表明尽管其他指标有所提升，但与真实情感得分仍保持高度一致性。
• 消融实验确认，所有组件——IAMCL、IEMCL、SCL、精炼项与模态边距——均对性能提升有贡献，完整 HyCon 模型优于任何缺少其中任一组件的变体。