[论文解读] Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions

T. Q. Nguyen, Xiaobao Wu+4 more|arXiv (Cornell University)|Nov 7, 2022

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本文提出了一种带有多模态交互模块的自适应对比学习框架，通过增强跨模态表征来提升评论有用性预测性能。通过动态加权正负样本对并解决模态错位问题，该方法在两个基准数据集上实现了最先进性能。

ABSTRACT

Modern Review Helpfulness Prediction systems are dependent upon multiple modalities, typically texts and images. Unfortunately, those contemporary approaches pay scarce attention to polish representations of cross-modal relations and tend to suffer from inferior optimization. This might cause harm to model's predictions in numerous cases. To overcome the aforementioned issues, we propose Multimodal Contrastive Learning for Multimodal Review Helpfulness Prediction (MRHP) problem, concentrating on mutual information between input modalities to explicitly elaborate cross-modal relations. In addition, we introduce Adaptive Weighting scheme for our contrastive learning approach in order to increase flexibility in optimization. Lastly, we propose Multimodal Interaction module to address the unalignment nature of multimodal data, thereby assisting the model in producing more reasonable multimodal representations. Experimental results show that our method outperforms prior baselines and achieves state-of-the-art results on two publicly available benchmark datasets for MRHP problem.

研究动机与目标

• 解决现有多模态评论有用性预测模型在捕捉跨模态关系方面表现不佳且优化效果不理想的问题。
• 通过引入自适应加权方案，克服对称对比学习的刚性，灵活根据预测置信度调整损失优化。
• 通过设计多模态交互模块，减轻模态错位（即图像与文本不完全对应）带来的负面影响，以优化跨模态表征。
• 通过显式挖掘文本与图像模态之间的互信息，提升多模态评论有用性预测中的表征学习效果。
• 在公开基准数据集上实现多模态评论有用性预测（MRHP）任务的最先进性能。

提出的方法

• 提出一种对比学习目标，显式建模文本与图像模态之间的互信息，以增强跨模态表征。
• 引入一种自适应加权机制，根据预测得分的置信度水平，为正样本和负样本分配不同的惩罚，提升优化灵活性。
• 设计多模态交互模块以处理未对齐的输入数据，使模型能够聚焦于相关跨模态对齐，而非强制实现全局对齐。
• 采用多模态Transformer架构，将产品信息、评论文本和图像联合编码到统一的表征空间中。
• 通过负采样应用对比学习，基于学习到的表征区分有用与无用的评论-产品对。
• 使用回归头微调模型以预测最终的有用性分数，损失通过自适应对比学习目标进行优化。

实验结果

研究问题

• RQ1 如何更好地捕捉文本与图像模态之间的跨模态关系，以提升评论有用性预测性能？
• RQ2 在对比学习中引入自适应加权方案是否能提升多模态学习中的优化稳定性与表征质量？
• RQ3 模态错位在多模态评论有用性预测中在多大程度上降低性能，以及如何缓解这一问题？
• RQ4 通过对比学习引入互信息挖掘，是否能带来优于标准对比学习或非对比学习基线的性能提升？
• RQ5 所提出的框架是否能超越英语语种，在标准MRHP基准上实现最先进结果？

主要发现

• 所提方法在两个公开MRHP基准数据集上优于现有最先进基线模型，展现出更优的预测性能。
• 自适应对比学习组件显著提升了优化灵活性，减少了MCR等模型中观察到的不合理预测。
• 多模态交互模块有效降低了模态错位的负面影响，使多模态表征更加鲁棒和准确。
• 实证结果表明，该模型在F1和AUC指标上均优于先前方法，尤其在处理模糊或低信号评论时表现更优。
• 在具有挑战性的案例（如表1中的评论1）中，该模型能生成更可靠的预测，而此前模型因跨模态对齐不佳而失败。
• 消融实验证实，每个组件（自适应加权、交互模块、对比学习）均独立且显著地贡献于性能提升。