[论文解读] A Survey on Natural Language Processing for Fake News Detection

Ray Oshikawa, Jing Qian+1 more|arXiv (Cornell University)|Nov 2, 2018

Misinformation and Its Impacts参考文献 28被引用 276

一句话总结

本综述回顾用于自动化假新闻检测的自然语言处理方法，概述任务形式、数据集、建模方法、结果以及未来研究方向。

ABSTRACT

Fake news detection is a critical yet challenging problem in Natural Language Processing (NLP). The rapid rise of social networking platforms has not only yielded a vast increase in information accessibility but has also accelerated the spread of fake news. Thus, the effect of fake news has been growing, sometimes extending to the offline world and threatening public safety. Given the massive amount of Web content, automatic fake news detection is a practical NLP problem useful to all online content providers, in order to reduce the human time and effort to detect and prevent the spread of fake news. In this paper, we describe the challenges involved in fake news detection and also describe related tasks. We systematically review and compare the task formulations, datasets and NLP solutions that have been developed for this task, and also discuss the potentials and limitations of them. Based on our insights, we outline promising research directions, including more fine-grained, detailed, fair, and practical detection models. We also highlight the difference between fake news detection and other related tasks, and the importance of NLP solutions for fake news detection.

研究动机与目标

• 由于错误信息的社会影响，推动自动化假新闻检测。
• 系统性地分类和比较任务形式、数据集及NLP解决方案。
• 突出当前方法的优点、局限性和实际考虑。
• 提出更细粒度、公平且实用的检测模型方向。

提出的方法

• 包括分词、词干提取、TF-IDF、LIWC以及预训练嵌入的预处理步骤。
• 对非神经模型（SVM、朴素贝叶斯、逻辑回归、随机森林）和神经模型（RNN/LSTM、CNN、基于注意力的结构、记忆网络）的综述。
• 关于修辞结构理论（RST）和向量空间模型（VSM）在基于连贯性检测中的讨论。
• 在可用时使用文本蕴涵识别（RTE）收集并利用证据（FEVER/Emergent）。
• 考虑元数据与社交特征（说话者可信度、互动情况）以增强基于内容的信号。
• 关于数据集构建与评估的指南，包括多类别与二分类标签，以及半监督/弱监督方法的潜力。

实验结果

研究问题

• RQ1 在NLP中用于假新闻检测的常见问题表述有哪些（分类、回归）？
• RQ2 存在哪些用于假新闻检测的数据集，它们的特征如何影响建模？
• RQ3 哪些NLP模型和特征（基于内容、元数据、证据）在各数据集上实现了最佳性能？
• RQ4 在假新闻检测中，数据集质量、标签和评估的挑战与最佳实践有哪些？
• RQ5 未来的数据集和模型应如何在准确性、公平性、鲁棒性和可验证性之间取得平衡？

主要发现

• 神经模型，尤其是基于LSTM的和增强注意力的架构，在关键数据集上常常优于非神经基线。
• 整合元数据（例如说话人可信度、社交互动信号）可以提高鲁棒性，但也引发偏见和发布者效应的担忧。
• 基于证据的方法（RTE/FEVER风格）通过在可用时收集支持或反驳信息实现验证，提升某些数据集上的可解释性和准确性。
• 修辞与语言特征（RST、LIWC）可以是强信号，但未必始终优于神经模型；它们的价值可能取决于数据和与神经方法的整合。
• 数据集 LIAR、FEVER 和 fakenewsnet 是核心基准；包含主张、整篇文章和社交网络数据的更广数据集揭示了内容聚焦方法与数据增强方法之间的权衡。
• 未来方向强调更细粒度的真实度、多类别的现实性，以及对元数据的谨慎使用，避免对发布者或来源的过拟合。