[论文解读] Bootstrapping Multi-view Representations for Fake News Detection

Qichao Ying, Xiaoxiao Hu+4 more|arXiv (Cornell University)|Jun 12, 2022

Misinformation and Its Impacts被引用 5

一句话总结

该论文提出了一种新型的虚假新闻检测框架——自举多视角表征（BMR），该框架提取文本、图像模式和图像语义表征，通过改进的多门专家混合模型（iMMoE）进行优化，并基于单视角预测结果与跨模态一致性自适应重加权。BMR在微博数据集上达到91.8%的准确率和90.4%的F1分数，性能达到当前最先进水平，同时通过学习到的重加权机制提供可解释的特征重要性。

ABSTRACT

Previous researches on multimedia fake news detection include a series of complex feature extraction and fusion networks to gather useful information from the news. However, how cross-modal consistency relates to the fidelity of news and how features from different modalities affect the decision-making are still open questions. This paper presents a novel scheme of Bootstrapping Multi-view Representations (BMR) for fake news detection. Given a multi-modal news, we extract representations respectively from the views of the text, the image pattern and the image semantics. Improved Multi-gate Mixture-of-Expert networks (iMMoE) are proposed for feature refinement and fusion. Representations from each view are separately used to coarsely predict the fidelity of the whole news, and the multimodal representations are able to predict the cross-modal consistency. With the prediction scores, we reweigh each view of the representations and bootstrap them for fake news detection. Extensive experiments conducted on typical fake news detection datasets prove that the proposed BMR outperforms state-of-the-art schemes.

研究动机与目标

• 解决现有多模态虚假新闻检测方法中可解释性不足与特征解耦性差的问题。
• 探究单模态（文本、图像模式、图像语义）与多模态表征在虚假新闻检测中的独立作用与协同作用。
• 通过基于预测置信度与跨模态一致性的自适应重加权机制，提升多视角特征的检测性能。
• 提供一种透明机制，用于理解哪一模态对最终决策贡献最大，从而增强模型的可解释性。

提出的方法

• 从新闻样本中提取三种不同表征：使用预训练编码器提取文本（T）、图像模式（IP）和图像语义（IS）表征。
• 采用改进的多门专家混合模型（iMMoE）网络，联合优化并融合多视角表征，同时保留模态特异性信息。
• 使用单视角预测头生成各模态的粗粒度置信度分数，进而计算表征的自适应重加权系数。
• 引入专门的跨模态一致性（CC）头，学习模态间的对齐关系，指导多模态表征优化，但不主导最终决策。
• 应用自举机制，通过单视角预测与一致性预测的置信度分数，迭代地对表征进行重加权与再优化。
• 采用掩码自编码器（MAE）进行图像表征的预训练，并集成视觉Transformer（ViT）模块进行特征优化，消融实验验证了设计选择的有效性。

实验结果

研究问题

• RQ1 单模态表征（文本、图像模式、图像语义）在虚假新闻检测中各自发挥什么作用？其重要性能否被定量衡量？
• RQ2 跨模态一致性在多模态虚假新闻检测中的作用是什么？它是否作为主要信号还是次要约束？
• RQ3 基于单视角预测置信度对多视角表征进行自适应重加权，能否提升检测性能？
• RQ4 通过独立预测头与一致性学习实现单模态与多模态特征的解耦，在多大程度上提升了模型的鲁棒性与可解释性？

主要发现

• BMR在微博数据集上达到91.8%的准确率与90.4%的F1分数，显著优于当前最先进方法。
• 消融实验表明，若移除单视角预测机制，准确率下降2.3%，证实其作为正则化偏差的有效性。
• 若禁用跨模态一致性学习，性能下降1.3%，表明其具有辅助作用但非关键性。
• 学习到的重加权函数呈现倒置的‘V’形模式，表明模型学会抑制模糊表征（例如当一致性分数接近0.5时）。
• 将MAE替换为ViT导致准确率下降0.8%，证明MAE在该任务中更优的表征学习能力。
• 使用iMMoE而非独立的ViT模块可使性能提升1.3%，表明参数共享与联合特征学习具有显著优势。