[论文解读] Fake News Detectors are Biased against Texts Generated by Large Language Models

Jinyan Su, Terry Yue Zhuo+3 more|arXiv (Cornell University)|Sep 15, 2023

Misinformation and Its Impacts被引用 12

一句话总结

本论文揭示假新闻检测器在将 LLM 生成的内容分类为假新闻方面存在偏见，并提出通过对抗性训练结合 LLM-改写的真实新闻进行去偏见的方法，同时有新的 GossipCop++ 和 PolitiFact++ 数据集作为支撑。

ABSTRACT

The spread of fake news has emerged as a critical challenge, undermining trust and posing threats to society. In the era of Large Language Models (LLMs), the capability to generate believable fake content has intensified these concerns. In this study, we present a novel paradigm to evaluate fake news detectors in scenarios involving both human-written and LLM-generated misinformation. Intriguingly, our findings reveal a significant bias in many existing detectors: they are more prone to flagging LLM-generated content as fake news while often misclassifying human-written fake news as genuine. This unexpected bias appears to arise from distinct linguistic patterns inherent to LLM outputs. To address this, we introduce a mitigation strategy that leverages adversarial training with LLM-paraphrased genuine news. The resulting model yielded marked improvements in detection accuracy for both human and LLM-generated news. To further catalyze research in this domain, we release two comprehensive datasets, exttt{GossipCop++} and exttt{PolitiFact++}, thus amalgamating human-validated articles with LLM-generated fake and real news.

研究动机与目标

• 促进对人类撰写和 LLM 生成的错误信息的现实世界评估假新闻检测器。
• 描述检测器对 LLM 生成内容的偏见特征。
• 研究可能导致检测偏见的语言特征（NELA）。
• 开发基于对抗性训练的去偏见方法，使用 LLM-改写的真实新闻。
• 提供新的数据集（GossipCop++ 和 PolitiFact++）用于基准测试和复现。

提出的方法

• 为假新闻检测定义 Pre-LLM 与 LLM 时代的任务表述。
• 通过使用 ChatGPT 的 Structured Mimicry Prompting (SMP) 生成的 LLM 合成内容来创建 PolitiFact++ 与 GossipCop++ 数据集。
• 在 HR、HF 和 MF 子集上评估多种检测器（RoBERTa、BERT、ELECTRA、ALBERT、DeBERTa）。
• 结合 NELA 内容特征及统计检验（如 Tukey 两两比较）分析检测器的行为，以识别偏见来源。
• 提出基于对抗性训练的去偏见策略，使用 LLM-改写的真实新闻。
• 通过在人类撰写与 LLM 生成内容上的性能变化评估去偏见的影响。

Figure 1: SMP : Prompting LLMs to generate fake news articles.

实验结果

研究问题

• RQ1 RQ1：在 PolitiFact++ 与 GossipCop++ 上，针对人类撰写的真实新闻、人类撰写的假新闻，以及 LLM 生成的假新闻，假新闻检测器的表现如何？
• RQ2 RQ2：为何检测器对 LLM 生成的新闻存在偏见，哪些特征与此偏见相关？
• RQ3 RQ3：偏见是否可以减轻，且使用 LLM-改写的真实新闻进行对抗性训练如何影响不同内容类型的检测？

主要发现

• 检测器对 LLM 生成的内容存在偏见，往往将真实的 LLM 输出错误分类为假的。
• NELA 内容特征在人工撰写的假新闻和 LLM 生成的假新闻之间显示显著差异，表明检测器可能依赖于对 LLM 输出独特的语言模式。
• 使用基于回归的模型进行去偏见会改变性能，在人类撰写的假新闻检测中有所提升，但有时会降低对 LLM 生成情况的检测效果。
• 使用 LLM-改写的真实新闻进行对抗性训练可提高泛化能力，提升对人类撰写和 LLM 生成内容的检测，在各数据集上均有改进。
• 两个增强数据集，GossipCop++ 和 PolitiFact++，将原始的人类撰写文章与 LLM 合成内容配对以对检测器进行基准测试。