[论文解读] Multimodal Fake News Detection via CLIP-Guided Learning

Yangming Zhou, Qichao Ying+3 more|arXiv (Cornell University)|May 28, 2022

Misinformation and Its Impacts被引用 6

一句话总结

该论文提出FND-CLIP，一种多模态虚假新闻检测框架，通过CLIP引导的特征学习和模态特定注意力机制，提升文本与图像表征的融合效果。通过整合CLIP生成的跨模态相似性与BERT/ResNet特征，其在Weibo、Politifact和GossipCop数据集上分别实现了0.7%、6.8%和1.3%的准确率提升，达到当前最先进性能。

ABSTRACT

Multimodal fake news detection has attracted many research interests in social forensics. Many existing approaches introduce tailored attention mechanisms to guide the fusion of unimodal features. However, how the similarity of these features is calculated and how it will affect the decision-making process in FND are still open questions. Besides, the potential of pretrained multi-modal feature learning models in fake news detection has not been well exploited. This paper proposes a FND-CLIP framework, i.e., a multimodal Fake News Detection network based on Contrastive Language-Image Pretraining (CLIP). Given a targeted multimodal news, we extract the deep representations from the image and text using a ResNet-based encoder, a BERT-based encoder and two pair-wise CLIP encoders. The multimodal feature is a concatenation of the CLIP-generated features weighted by the standardized cross-modal similarity of the two modalities. The extracted features are further processed for redundancy reduction before feeding them into the final classifier. We introduce a modality-wise attention module to adaptively reweight and aggregate the features. We have conducted extensive experiments on typical fake news datasets. The results indicate that the proposed framework has a better capability in mining crucial features for fake news detection. The proposed FND-CLIP can achieve better performances than previous works, i.e., 0.7\%, 6.8\% and 1.3\% improvements in overall accuracy on Weibo, Politifact and Gossipcop, respectively. Besides, we justify that CLIP-based learning can allow better flexibility on multimodal feature selection.

研究动机与目标

• 解决现有依赖黑箱注意力融合的多模态虚假新闻检测（FND）方法在可解释性与机制透明性方面的不足。
• 利用CLIP的表征能力，实现文本与图像特征的对齐与对比学习，以提升特征质量与相关性。
• 通过引入模态特定注意力机制，自适应地根据特征的判别性贡献重新加权，减少多模态融合中的冗余与噪声。
• 证明基于CLIP的特征学习能够提升关键特征选择的灵活性与泛化能力，适用于虚假新闻检测。
• 在标准基准上评估该框架，验证其在真实世界FND场景中相较于单模态与多模态基线方法的优越性。

提出的方法

• 使用基于ResNet的编码器提取图像的深度表征，使用基于BERT的编码器提取文本的深度表征。
• 利用两个成对的CLIP编码器，生成文本与图像模态之间的对比性对齐特征。
• 计算标准化的跨模态相似性，以在多模态融合过程中加权CLIP生成的特征。
• 将加权后的CLIP特征与单模态特征（文本与图像）拼接，并应用模态特定注意力模块，自适应地重新加权并聚合特征。
• 在将最终融合的特征输入分类器前，应用冗余减少技术，以增强判别能力。
• 使用交叉熵损失端到端训练网络，以优化虚假新闻分类任务。

Figure 1 . Examples of fake news detection using FND-CLIP.The three attention scores of each news are text score, image score, and fusion score respectively.

实验结果

研究问题

• RQ1 CLIP引导的特征学习在多模态表征质量与对齐性方面，如何提升虚假新闻检测的性能？
• RQ2 模态特定注意力在多大程度上通过自适应选择相关特征并抑制噪声，增强特征融合效果？
• RQ3 基于CLIP的特征能否优于或补充传统单模态特征（如BERT与ResNet）在虚假新闻检测中的表现？
• RQ4 在不同数据集上，所提出的框架与当前最先进方法相比，在准确率与鲁棒性方面表现如何？
• RQ5 各模态（文本、图像、融合）对最终分类的贡献如何？它们在决策过程中如何相互作用？

主要发现

• FND-CLIP在Weibo、Politifact和GossipCop数据集上分别实现了0.7%、6.8%和1.3%的绝对准确率提升，达到当前最先进性能。
• 仅使用图像的分支表现较差，尤其在GossipCop数据集上，虚假新闻的F1分数几乎为零，表明仅依赖视觉特征缺乏判别能力。
• 仅使用多模态（无CLIP）的设置在Weibo、Politifact和GossipCop上的准确率分别为81.7%、90.3%和86.2%，但在Weibo与GossipCop上表现不如仅使用文本的分支，表明原始融合方式效用有限。
• 仅使用文本的分支表现仅次于最佳，证实文本线索具有高度信息量，但FND-CLIP通过整合互补的视觉与CLIP增强特征，超越了该基线。
• t-SNE可视化显示，FND-CLIP生成的特征表示比CAFE与消融模型更具可分性与判别性，类别边界更清晰。
• 消融研究证实，CLIP引导的特征学习与模态特定注意力组件均至关重要，移除任一模块均导致性能显著下降。

Figure 2 . The architecture of the proposed FND-CLIP method. CLIP, BERT, and ResNet are used to extract the features of different modalities of multimodal news. Encoded features of different levels are obtained through projection heads. CLIP similarity score is calculated to determine the importance