[论文解读] How Good Are SOTA Fake News Detectors

Matthew Iceland|arXiv (Cornell University)|Aug 4, 2023

Misinformation and Its Impacts被引用 6

一句话总结

本研究通过对比传统机器学习模型（如随机森林、XGBoost）与深度学习模型（如BERT、RoBERTa）在分布外数据和AI生成虚假新闻上的表现，评估了当前最先进（SOTA）虚假新闻检测器在现实世界中的鲁棒性。尽管SOTA转换器模型在分布内数据上表现出高准确率，但传统模型在未见数据上的泛化能力显著更优，表明其在实际部署中更具可靠性，尽管基准分数较低。

ABSTRACT

Automatic fake news detection with machine learning can prevent the dissemination of false statements before they gain many views. Several datasets labeling statements as legitimate or false have been created since the 2016 United States presidential election for the prospect of training machine learning models. We evaluate the robustness of both traditional and deep state-of-the-art models to gauge how well they may perform in the real world. We find that traditional models tend to generalize better to data outside the distribution it was trained on compared to more recently-developed large language models, though the best model to use may depend on the specific task at hand.

研究动机与目标

• 评估SOTA虚假新闻检测器在训练分布之外数据上的泛化能力。
• 评估传统机器学习模型与深度学习模型（如BERT）在现实世界部署场景中的性能表现。
• 探究深度学习模型在基准数据集上取得的高准确率是否能转化为实际应用中的鲁棒性。
• 探讨传统模型在可解释性和计算效率方面的优势，尽管其峰值性能较低。
• 考察数据分布偏移和AI生成内容对检测器可靠性的影响。

提出的方法

• 在五个公开可用的虚假新闻数据集上，训练了六种经典机器学习模型（如随机森林、XGBoost、KNN）和六种基于转换器的模型（如BERT、RoBERTa）。
• 在分布内测试集和来自不同领域（如政治、健康）的分布外样本数据集上评估模型的泛化能力。
• 使用Grover（一种基于GAN的新闻生成器）生成的AI生成虚假新闻测试模型性能，以评估其对风格变化的鲁棒性。
• 仅使用文章标题或单条新闻陈述作为输入，以降低计算负载并聚焦于文本级特征。
• 通过在多个数据集和评估场景下比较准确率和F1分数，评估模型性能。
• 采用标准NLP流程，包括TF-IDF和上下文嵌入，并在单张GPU上对转换器模型进行微调。

Figure 1: Out-of-sample performance matrices for ELECTRA (top) and XLNet (bottom)

实验结果

研究问题

• RQ1 虚假新闻检测器在来自不同领域的分布外样本数据集上的表现如何？
• RQ2 虚假新闻检测器在识别与训练数据风格不同的AI生成虚假新闻时的准确率如何？
• RQ3 传统机器学习模型与深度学习模型在泛化能力和鲁棒性方面有何差异？
• RQ4 现有数据集上的高基准分数在多大程度上反映了真实世界中的可靠性？
• RQ5 传统模型是否可以作为比大型语言模型更鲁棒的虚假新闻检测基础？

主要发现

• 传统模型如随机森林和XGBoost在分布外数据集上的准确率分别达到86.70%和88.72%，显著优于深度学习模型。
• 在Grover生成的AI虚假新闻上，大多数转换器模型表现仅相当于随机猜测（约50%准确率），仅有CT-BERT在D5数据集上达到69.53%。
• BERT和RoBERTa模型在分布内数据上表现优异（如FakeNewsNet上达到91.37%），但在分布外数据上的性能急剧下降。
• 没有单一传统模型在所有数据集上均表现最佳，但随机森林在多个分布外评估中表现出一致的高性能。
• 传统模型的泛化能力优于深度模型，表明其可能学习到了更通用的虚假新闻模式，尽管在基准测试中的峰值准确率较低。
• 集成多个传统模型可能为现实世界中的虚假新闻检测提供一种更鲁棒、可扩展且可解释的替代方案，优于大型语言模型。

Figure 2: Out-of-sample performance matrices for AdaBoost (top) and XGBoost (bottom)