[论文解读] Disinformation Detection: A review of linguistic feature selection and classification models in news veracity assessments

Jillian Tompkins|arXiv (Cornell University)|Oct 26, 2019

Misinformation and Its Impacts参考文献 10被引用 9

一句话总结

本文综述了用于检测新闻文章中虚假信息的语言特征选择与分类模型，重点探讨了利用机器学习方法评估新闻真实性的研究。文章整合了现有关于语言线索和算法方法的研究，突出特征工程与模型性能方面的挑战，主要贡献在于识别出有效的特征并评估用于虚假新闻检测的分类技术。

ABSTRACT

Over the past couple of years, the topic of "fake news" and its influence over people's opinions has become a growing cause for concern. Although the spread of disinformation on the Internet is not a new phenomenon, the widespread use of social media has exacerbated its effects, providing more channels for dissemination and the potential to "go viral." Nowhere was this more evident than during the 2016 United States Presidential Election. Although the current of disinformation spread via trolls, bots, and hyperpartisan media outlets likely reinforced existing biases rather than sway undecided voters, the effects of this deluge of disinformation are by no means trivial. The consequences range in severity from an overall distrust in news media, to an ill-informed citizenry, and in extreme cases, provocation of violent action. It is clear that human ability to discern lies from truth is flawed at best. As such, greater attention has been given towards applying machine learning approaches to detect deliberately deceptive news articles. This paper looks at the work that has already been done in this area.

研究动机与目标

• 考察新闻文章中虚假信息检测的语言特征选择的最新研究进展。
• 分析不同分类模型在利用语言特征评估新闻真实性方面的有效性。
• 识别当前基于自然语言处理的虚假新闻检测方法在方法论上的空白与局限性。
• 为未来虚假信息检测系统的方法论改进，提供现有研究的全面综合分析。

提出的方法

• 对虚假新闻检测中语言特征提取与分类模型的同行评审文献进行系统性综述。
• 基于先前研究，将语言特征分类为句法、语义和风格三类。
• 评估支持向量机（SVM）、随机森林和神经网络等机器学习与深度学习模型在真实性分类中的应用。
• 分析TF-IDF、n-gram和嵌入等特征选择技术，以提升模型性能。
• 比较使用LIAR和FakeNewsNet等标注数据集的监督学习框架。
• 综合分析不同新闻领域和语言下模型的鲁棒性、泛化能力与可解释性。

实验结果

研究问题

• RQ1 在虚假信息检测任务中，哪些语言特征对新闻真实性最具预测力？
• RQ2 当应用于新闻文章的语言特征时，不同分类模型的性能表现如何比较？
• RQ3 当前特征选择方法在捕捉欺骗性语言模式方面存在哪些局限性？
• RQ4 现有模型在不同类型虚假信息和新闻领域之间的泛化能力如何？
• RQ5 如何优化语言特征以提升虚假新闻检测系统的准确率与可解释性？

主要发现

• 情感强度、词汇多样性与句法复杂性等语言特征在区分虚假新闻与真实新闻方面表现出显著的判别能力。
• 当与精心设计的特征结合时，SVM与随机森林等监督模型在基准数据集上通常可实现80%以上的准确率，表现中等至较高。
• 基于神经网络的模型，特别是使用预训练嵌入（如BERT）的模型，在某些场景下优于传统模型，尤其在低资源或领域特定数据中表现更优。
• 通过互信息与卡方过滤等特征选择技术，可减少语言输入中的噪声与冗余，从而提升模型性能。
• 尽管已有进展，但模型在不同主题、语言或媒体渠道之间常难以泛化，表明需要更鲁棒且可迁移的特征表示方法。
• 本文指出，现有研究缺乏标准化的评估协议与一致的指标报告，限制了可比性与可复现性。