[论文解读] Fake News Early Detection: An Interdisciplinary Study

Xinyi Zhou, Atishay Jain+2 more|arXiv (Cornell University)|Apr 26, 2019

Misinformation and Its Impacts参考文献 59被引用 16

一句话总结

本文提出了一种理论驱动的跨学科模型，通过结合心理学理论分析新闻内容在词汇、句法、语义和语篇四个层面的特征，实现早期虚假新闻检测。该模型在约88%的准确率下优于最先进方法，即使在训练数据有限或内容不完整的情况下仍保持强劲性能，从而实现在社交媒体传播前的可靠早期检测。

ABSTRACT

Massive dissemination of fake news and its potential to erode democracy has increased the demand for accurate fake news detection. Recent advancements in this area have proposed novel techniques that aim to detect fake news by exploring how it propagates on social networks. Nevertheless, to detect fake news at an early stage, i.e., when it is published on a news outlet but not yet spread on social media, one cannot rely on news propagation information as it does not exist. Hence, there is a strong need to develop approaches that can detect fake news by focusing on news content. In this paper, a theory-driven model is proposed for fake news detection. The method investigates news content at various levels: lexicon-level, syntax-level, semantic-level and discourse-level. We represent news at each level, relying on well-established theories in social and forensic psychology. Fake news detection is then conducted within a supervised machine learning framework. As an interdisciplinary research, our work explores potential fake news patterns, enhances the interpretability in fake news feature engineering, and studies the relationships among fake news, deception/disinformation, and clickbaits. Experiments conducted on two real-world datasets indicate the proposed method can outperform the state-of-the-art and enable fake news early detection when there is limited content information.

研究动机与目标

• 开发一种在社交媒体传播前即可运行的内容型虚假新闻检测模型，此时传播信号尚不存在。
• 将社会心理学与法医学心理学中的成熟理论整合到特征工程中，以提升可解释性与检测准确率。
• 探究虚假新闻、欺骗/虚假信息与点击诱饵内容之间的关系。
• 在数据稀缺条件下实现在早期检测，例如训练样本有限或仅部分内容（如仅标题）可用时。
• 构建一个既准确又可解释的模型，其特征基于欺骗与煽动性语言的心理学原理。

提出的方法

• 该模型在四个语言层次（词汇、句法、语义、语篇）上表示新闻文章，每个层次均基于欺骗与吸引注意力语言的心理学理论。
• 采用人工设计的、基于心理学的特征，而非仅依赖神经嵌入，从而增强可解释性并减少对大规模标注数据的依赖。
• 特征包括情感模式、词汇多样性、句法复杂度、语义连贯性以及语篇标记，均源自欺骗与点击诱饵策略的相关理论。
• 采用监督式机器学习框架对新闻进行真假分类，训练数据来自PolitiFact和BuzzFeed的真实世界数据集。
• 在数据稀缺设置下评估模型性能：包括不同规模的训练集以及部分内容（如仅标题），以模拟早期检测场景。
• 应用时间采样策略以更好地模拟现实世界中的早期检测情境，但受数据集限制影响。

实验结果

研究问题

• RQ1 在缺乏传播数据的情况下，如何系统性地应用欺骗与点击诱饵的心理学理论以提升虚假新闻检测效果？
• RQ2 在训练数据有限的情况下，内容型模型在早期虚假新闻检测中能多大程度上超越最先进模型？
• RQ3 虚假新闻在语言风格、情感与结构上与真实新闻有何不同，特别是在词汇、句法、语义和语篇层面上？
• RQ4 从语言与结构模式的角度看，虚假新闻、欺骗/虚假信息与点击诱饵之间存在何种关系？
• RQ5 当仅提供标题时，模型是否仍能保持高性能，从而模拟真实早期检测场景？

主要发现

• 所提出的模型在真实世界数据集上实现了约88%的准确率，优于所有基线内容型、传播型及混合型模型。
• 当训练文章数量减少或虚假新闻与真实新闻的类别分布不平衡时，模型仍保持高性能——准确率约80%，F1分数达88%。
• 当仅提供标题时，该模型优于基于Perez-Rosas等人方法的先前最先进模型，展现出在极简输入下仍具强大早期检测能力。
• 即使在内容不完整的情况下，该模型也持续优于基于潜在表示（如Word2Vec、Skip-gram）的模型，凸显了理论驱动的显式特征工程的价值。
• 虚假新闻表现出更高的煽动性与更低的新闻价值，与点击诱饵类似，但其可读性模式更为复杂，难以被简单指标捕捉。
• 虚假新闻倾向于使用更短的词与更长的句子，显示出与欺骗理论一致的显著文体特征。