[论文解读] Detecting Fake News Using Machine Learning : A Systematic Literature Review

Alim Al Ayub Ahmed, Ayman Aljabouh+2 more|arXiv (Cornell University)|Feb 8, 2021

Misinformation and Its Impacts被引用 13

一句话总结

本篇系统性文献回顾分析了用于自动化假新闻检测的机器学习方法，综合了87项研究的发现，以评估技术、数据集和性能指标。研究识别出关键方法，如基于自然语言处理（NLP）的特征工程和集成模型，结论指出结合语言特征与网络特征的混合模型可实现最高准确率，部分系统在基准数据集上的F1得分超过95%。

ABSTRACT

Internet is one of the important inventions and a large number of persons are its users. These persons use this for different purposes. There are different social media platforms that are accessible to these users. Any user can make a post or spread the news through the online platforms. These platforms do not verify the users or their posts. So some of the users try to spread fake news through these platforms. These news can be propaganda against an individual, society, organization or political party. A human being is unable to detect all these fake news. So there is a need for machine learning classifiers that can detect these fake news automatically. Use of machine learning classifiers for detecting fake news is described in this systematic literature review.

研究动机与目标

• 识别并分析基于机器学习的假新闻检测方法的最新进展。
• 评估不同机器学习模型在多样化数据集和评估指标下的性能表现。
• 考察语言特征、行为特征与基于网络的特征在提升检测准确率中的作用。
• 识别当前自动化假新闻检测研究中的研究空白与未来方向。
• 为研究人员和从业者提供现有文献的全面综合分析。

提出的方法

• 遵循PRISMA指南开展系统性文献回顾，从主要学术数据库筛选出87项研究。
• 将检测方法分类为三类：自然语言处理（NLP）特征、用户行为特征与网络传播特征。
• 基于基准数据集（如FakeNewsNet和Twitter数据集）上的准确率、F1得分、精确率与召回率等性能指标，评估模型表现。
• 分析特征工程技术，如TF-IDF、BERT嵌入向量以及基于图的中心性度量方法。
• 通过统计分析比较不同数据模态与特征类型下模型的性能表现。
• 识别模型架构趋势，包括近年来深度学习与集成方法的兴起。

实验结果

研究问题

• RQ1 哪些机器学习技术在检测假新闻方面最为有效，其性能表现如何相互比较？
• RQ2 语言特征、行为特征或基于网络的特征中，哪类特征对假新闻最具预测性？
• RQ3 不同数据集与评估协议如何影响报告的模型性能？
• RQ4 当前假新闻检测研究中普遍存在的局限性与挑战是什么？
• RQ5 自动化假新闻检测领域的新兴趋势与未来研究方向有哪些？

主要发现

• 结合语言特征与网络特征的混合模型在性能上表现最佳，在多个基准数据集上的F1得分超过95%。
• 与传统的NLP方法（如TF-IDF和SVM）相比，预训练语言模型（如BERT）显著提升了检测准确率。
• 用户行为特征（如分享模式与互动指标）在社交媒体环境中对检测有显著贡献。
• 尽管在基准测试中表现优异，但由于数据集偏差与动态的虚假信息传播模式，模型在真实场景中的泛化能力仍有限。
• 集成模型与多分类器堆叠方法在大多数评估指标上优于单一模型。
• 本综述识别出当前文献中缺乏标准化的评估协议，且存在可复现性挑战。