[论文解读] Fake News Detection with Heterogeneous Transformer

Tianle Li, Yushi Sun+3 more|arXiv (Cornell University)|May 6, 2022

Misinformation and Its Impacts被引用 5

一句话总结

该论文提出 HetTransformer，一种新颖的编码器-解码器 Transformer 模型，能够捕捉新闻、帖子和用户在局部的多模态语义以及异构社交网络中的全局结构模式，用于虚假新闻检测。通过注意力机制和位置编码有效建模异构图结构与多模态内容，该模型在三个真实世界数据集上优于当前最先进方法。

ABSTRACT

The dissemination of fake news on social networks has drawn public need for effective and efficient fake news detection methods. Generally, fake news on social networks is multi-modal and has various connections with other entities such as users and posts. The heterogeneity in both news content and the relationship with other entities in social networks brings challenges to designing a model that comprehensively captures the local multi-modal semantics of entities in social networks and the global structural representation of the propagation patterns, so as to classify fake news effectively and accurately. In this paper, we propose a novel Transformer-based model: HetTransformer to solve the fake news detection problem on social networks, which utilises the encoder-decoder structure of Transformer to capture the structural information of news propagation patterns. We first capture the local heterogeneous semantics of news, post, and user entities in social networks. Then, we apply Transformer to capture the global structural representation of the propagation patterns in social networks for fake news detection. Experiments on three real-world datasets demonstrate that our model is able to outperform the state-of-the-art baselines in fake news detection.

研究动机与目标

• 通过建模局部多模态语义与全局传播结构，解决在社交网络中检测虚假新闻的挑战。
• 克服现有图神经网络（GNN）与 Transformer 模型在处理异构图结构与多模态数据方面效率不足的局限。
• 开发一种可泛化的端到端模型，捕捉实体级语义与传播模式，而无需依赖元路径或图分解约束。
• 通过集成编码器-解码器注意力机制与新闻、帖子和用户多模态特征编码器，提升虚假新闻检测的准确性。

提出的方法

• HetTransformer 使用多模态特征编码器，从新闻、帖子和用户实体中的文本、图像和用户资料中提取局部表示。
• 它从社交网络数据构建异构图，将新闻、帖子和用户表示为具有多种边类型的独立节点类型。
• 该模型应用编码器-解码器 Transformer 架构，捕捉异构图中新闻传播模式的全局结构表示。
• 编码器和解码器层中的自注意力机制用于建模图中节点之间的长距离依赖与上下文关系。
• 引入位置嵌入以保持输入序列中的结构顺序，增强表示学习能力。
• 该模型采用带重启的随机游走（RWR）方法，为每个节点采样邻域上下文，随后将这些上下文输入 Transformer 进行上下文感知编码。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否有效捕捉异构社交网络中虚假新闻检测的局部多模态语义与全局结构模式？
• RQ2 与仅编码器模型或基于 RNN 的替代方案相比，Transformer 的编码器-解码器架构在虚假新闻检测中表现如何提升？
• RQ3 多模态特征编码器与位置嵌入在异构图中的虚假新闻检测性能中起到多大程度的贡献？
• RQ4 模型性能对超参数（如 RWR 迭代次数 γ）的敏感程度如何？
• RQ5 所提出的模型能否在具有不同传播模式与数据模态的多样化真实世界数据集中实现良好泛化？

主要发现

• HetTransformer 在三个真实世界数据集（PolitiFact、GossipCop 和 PHEME）上达到最先进性能，优于现有基线模型。
• 在 PolitiFact 数据集上，HetTransformer 达到 97.5% 的准确率，当移除解码器时性能下降 6.2%。
• 在 GossipCop 数据集上，该模型达到 99.0% 的准确率，移除解码器后性能仅下降 0.2%。
• 在 PHEME 数据集上，模型准确率达到 82.5%，移除解码器后性能下降 1.3%，表明解码器在捕捉全局结构方面具有关键作用。
• 消融研究显示，移除位置嵌入后，PolitiFact 上准确率下降 2.5%，GossipCop 上下降 0.4%，PHEME 上下降 2.9%，凸显其在序列建模中的重要性。
• 超参数敏感性分析表明，PHEME 数据集上最优性能出现在 log₂(γ) ≈ 4 时，性能在 γ 值过小或过大时均出现下降。