[论文解读] Cross-modal Contrastive Learning for Multimodal Fake News Detection

Longzheng Wang, Chuang Zhang+4 more|arXiv (Cornell University)|Feb 25, 2023

Misinformation and Its Impacts被引用 6

一句话总结

COOLANT 是一种用于多模态虚假新闻检测的跨模态对比学习框架，通过双编码器架构增强图像与文本对齐，利用辅助一致性任务软化负样本对比损失，并采用注意力引导的融合机制提升特征聚合效果。该方法在 Twitter 和 Weibo 数据集上均取得最先进性能，F1 分数分别达到 0.901 和 0.920。

ABSTRACT

Automatic detection of multimodal fake news has gained a widespread attention recently. Many existing approaches seek to fuse unimodal features to produce multimodal news representations. However, the potential of powerful cross-modal contrastive learning methods for fake news detection has not been well exploited. Besides, how to aggregate features from different modalities to boost the performance of the decision-making process is still an open question. To address that, we propose COOLANT, a cross-modal contrastive learning framework for multimodal fake news detection, aiming to achieve more accurate image-text alignment. To further improve the alignment precision, we leverage an auxiliary task to soften the loss term of negative samples during the contrast process. A cross-modal fusion module is developed to learn the cross-modality correlations. An attention mechanism with an attention guidance module is implemented to help effectively and interpretably aggregate the aligned unimodal representations and the cross-modality correlations. Finally, we evaluate the COOLANT and conduct a comparative study on two widely used datasets, Twitter and Weibo. The experimental results demonstrate that our COOLANT outperforms previous approaches by a large margin and achieves new state-of-the-art results on the two datasets.

研究动机与目标

• 为解决现有多模态虚假新闻检测方法依赖刚性单模态融合和 one-hot 对比损失的局限性。
• 通过为负样本引入软目标，提升视觉与语言表征在虚假新闻中的跨模态对齐能力。
• 开发一种可解释且高效的机制，用于聚合单模态与跨模态特征，以增强决策能力。
• 探究不同模块对多模态虚假新闻检测模型性能的影响。
• 通过先进的对比学习与融合策略，在基准数据集上实现最先进性能。

提出的方法

• 采用双编码器框架，在语义层面学习视觉与文本表征。
• 图像-文本对比（ITC）学习通过对齐正样本对并分离负样本对，提升跨模态对齐效果。
• 通过辅助一致性学习任务，对负样本的对比损失进行软化，降低对错配样本的过拟合风险。
• 跨模态融合（CMF）模块学习对齐后的单模态特征与跨模态表征之间的相关性。
• 采用注意力机制与注意力引导模块，动态聚合来自单模态、跨模态及融合表征的特征，提升可解释性与性能。
• 模型通过端到端方式联合训练，结合对比损失与一致性目标，特征聚合过程由学习到的注意力权重引导。

实验结果

研究问题

• RQ1 对负样本的对比损失进行软化，是否能提升多模态虚假新闻检测中的泛化能力？
• RQ2 跨模态对比学习如何增强虚假新闻中视觉与文本特征之间的对齐？
• RQ3 ITC、ITM、CMF、ATT、AGU 等各模块对模型整体性能的贡献如何？
• RQ4 注意力引导的融合机制如何提升可解释性与检测准确率？
• RQ5 所提出的框架是否能在 Twitter 和 Weibo 等多样化社交媒体数据集上实现最先进性能？

主要发现

• COOLANT 在 Twitter 数据集上取得 0.901 的新最先进 F1 分数，优于先前方法。
• 在 Weibo 数据集上，COOLANT 达到 0.920 的 F1 分数，表明其在更大规模、更复杂的数据集上也表现出卓越性能。
• 消融实验表明，移除 ITC 损失导致性能下降最大，证实其在对齐任务中的关键作用。
• 在 Twitter 上，不包含 ITM（一致性学习）任务的变体性能显著下降，表明软目标有助于缓解事件相关数据中的噪声影响。
• t-SNE 可视化结果表明，COOLANT 学习到的特征表示更具判别性且类别间分离更清晰，优于其消融变体。
• 注意力引导的融合机制显著提升了特征聚合效果，表现为保留 ATT 与 AGU 模块时性能明显提升。