[论文解读] A Deep Learning Approach for Automatic Detection of Fake News

Tanik Saikh, Arkadipta De+2 more|arXiv (Cornell University)|May 11, 2020

Misinformation and Its Impacts参考文献 20被引用 21

一句话总结

本文提出两种基于深度学习的模型——BiGRU 和 ELMo——用于多领域虚假新闻检测，在 FakeNews AMT 和名人新闻数据集上分别比基于手工特征的方法高出 3.08% 和 9.3% 的性能，且无需依赖人工特征工程，达到当前最先进水平。

ABSTRACT

Fake news detection is a very prominent and essential task in the field of journalism. This challenging problem is seen so far in the field of politics, but it could be even more challenging when it is to be determined in the multi-domain platform. In this paper, we propose two effective models based on deep learning for solving fake news detection problem in online news contents of multiple domains. We evaluate our techniques on the two recently released datasets, namely FakeNews AMT and Celebrity for fake news detection. The proposed systems yield encouraging performance, outperforming the current handcrafted feature engineering based state-of-the-art system with a significant margin of 3.08% and 9.3% by the two models, respectively. In order to exploit the datasets, available for the related tasks, we perform cross-domain analysis (i.e. model trained on FakeNews AMT and tested on Celebrity and vice versa) to explore the applicability of our systems across the domains.

研究动机与目标

• 解决现有虚假新闻检测系统仅聚焦于政治或讽刺内容的局限性。
• 将虚假新闻检测扩展至多领域设置，涵盖政治、娱乐、体育、教育和商业等领域。
• 开发端到端的深度学习模型，消除对手工语言特征或复杂自然语言处理流水线的依赖。
• 通过在 FakeNews AMT 和名人新闻数据集上进行跨领域训练与测试，评估模型的泛化能力。
• 研究特定领域模式在虚假新闻检测中的作用，并探索未来整合外部知识与迁移学习的可能性。

提出的方法

• 采用双向门控循环单元（BiGRU）网络，捕捉新闻文本中的序列依赖关系，用于分类任务。
• 利用预训练的 ELMo 嵌入，捕捉上下文相关的词表示，无需依赖人工特征提取。
• 设计端到端的深度神经网络，直接将原始文本输入映射到虚假/真实标签，避免特征工程。
• 在两个多领域数据集上进行模型训练：FakeNews AMT 和名人新闻数据集，其中包含涵盖多样化领域的主题-文档-标签三元组。
• 通过在一个数据集上训练并在另一个数据集上测试，执行跨领域评估，以衡量模型的泛化能力。
• 通过模型架构本身对新闻内容中关键短语的关注能力，隐式应用注意力机制。

实验结果

研究问题

• RQ1 深度学习模型是否能在多领域虚假新闻检测中超越传统的手工特征方法？
• RQ2 BiGRU 和 ELMo 基于的模型在检测政治、娱乐和教育等多样化领域中的虚假新闻方面效果如何？
• RQ3 在虚假新闻检测背景下，一个领域上训练的模型在另一领域上的泛化程度如何？
• RQ4 特定领域模式对虚假新闻检测系统性能和可靠性有何影响？
• RQ5 未来如何通过整合 WordNet 等外部知识源或迁移学习模型（如 BERT、XLNet）来提升检测性能？

主要发现

• 基于 BiGRU 的模型在 FakeNews AMT 数据集上的准确率比当前最先进方法（SVM 基础系统）高出 3.08%。
• 基于 ELMo 的模型在名人新闻数据集上比 SOTA 系统高出 9.3%，表明其在多领域设置中具有更优的泛化能力。
• 跨领域评估显示，一个数据集上训练的模型在另一数据集上测试时表现出显著性能，表明存在一定程度的领域可迁移性。
• 在两个领域中均观察到误分类现象，尤其是将真实新闻错误标记为虚假新闻，特别是在娱乐和商业主题中，凸显了内容细微差异带来的挑战。
• 研究结果证实，领域上下文在虚假新闻检测中起着至关重要的作用，提示领域感知建模可进一步提升性能。
• 结果支持端到端深度学习架构在虚假新闻检测中的有效性，尤其是在避免依赖人工语言特征工程方面。