[论文解读] Adapting Fake News Detection to the Era of Large Language Models

Jinyan Su, Claire Cardie+1 more|arXiv (Cornell University)|Nov 2, 2023

Misinformation and Its Impacts被引用 5

一句话总结

本文研究了在大型语言模型（LLMs）时代如何适应假新闻检测器，通过评估其在人类和机器生成的真实与虚假新闻中的表现。研究发现，仅在人类撰写的新闻上训练的检测器能很好地泛化以检测机器生成的虚假新闻，但反之则不然。研究建议在训练集中使用低于测试集的机器生成内容比例，以减少偏差并提高鲁棒性。

ABSTRACT

In the age of large language models (LLMs) and the widespread adoption of AI-driven content creation, the landscape of information dissemination has witnessed a paradigm shift. With the proliferation of both human-written and machine-generated real and fake news, robustly and effectively discerning the veracity of news articles has become an intricate challenge. While substantial research has been dedicated to fake news detection, this either assumes that all news articles are human-written or abruptly assumes that all machine-generated news are fake. Thus, a significant gap exists in understanding the interplay between machine-(paraphrased) real news, machine-generated fake news, human-written fake news, and human-written real news. In this paper, we study this gap by conducting a comprehensive evaluation of fake news detectors trained in various scenarios. Our primary objectives revolve around the following pivotal question: How to adapt fake news detectors to the era of LLMs? Our experiments reveal an interesting pattern that detectors trained exclusively on human-written articles can indeed perform well at detecting machine-generated fake news, but not vice versa. Moreover, due to the bias of detectors against machine-generated texts \cite{su2023fake}, they should be trained on datasets with a lower machine-generated news ratio than the test set. Building on our findings, we provide a practical strategy for the development of robust fake news detectors.

研究动机与目标

• 为填补对假新闻检测器在不同内容来源（人类与机器生成的真实与虚假新闻）下表现理解的空白。
• 探究仅在人类撰写的新闻上训练的检测器是否能泛化以检测机器生成的虚假新闻。
• 考察训练数据构成（尤其是机器生成内容的比例）对检测器性能与偏差的影响。
• 提供实用的训练策略，以在大语言模型时代提升所有新闻类别中的泛化能力与公平性。
• 提高对在大语言模型生成内容不断演进背景下数据分布偏移与模型偏差的认识。

提出的方法

• 对四种新闻类别（人类撰写的真新闻（HR）、人类撰写的假新闻（HF）、机器改写的真实新闻（MR）、机器生成的假新闻（MF））中的假新闻检测器（RoBERTa、BERT、ELECTRA、ALBERT、DeBERTa）进行了全面评估。
• 在不同比例的人类与机器生成数据上训练检测器，包括0%、50%和100%机器生成内容的场景。
• 使用域内与域外检测准确率评估性能，重点关注类别级准确率与分布偏移鲁棒性。
• 分析跨域性能退化情况，以评估泛化能力，特别比较了全人类数据与混合数据训练的模型。
• 采用三阶段时间框架——人类遗产、过渡共存、机器主导——来建模数据分布的演变。
• 提出一种训练策略，即在训练集中使用低于测试集的机器生成内容比例，以减轻检测器偏差。

实验结果

研究问题

• RQ1 仅在人类撰写的新闻上训练的假新闻检测器能否有效检测机器生成的虚假新闻？
• RQ2 训练数据中机器生成内容的比例如何影响检测器在不同新闻类别中的表现？
• RQ3 训练数据构成对检测器在域外分布上的泛化能力有何影响？
• RQ4 检测器对机器生成或人类撰写的新闻的偏差如何影响不同新闻类型检测的准确率？
• RQ5 何种训练策略可提升在大语言模型导致的数据分布持续演变背景下的鲁棒性与公平性？

主要发现

• 仅在人类撰写的新闻（HR与HF）上训练的检测器在检测机器生成的虚假新闻（MF）方面表现强劲，表明其在生成源之间具有良好的泛化能力。
• 反之则不然：在机器生成内容上训练的检测器无法有效检测人类撰写的虚假新闻，凸显了显著的不对称性。
• 在训练集中使用低于测试集的机器生成内容比例，可带来整体性能提升并减少分布偏移导致的性能下降。
• 在未接触MF数据的情况下，仅在人类撰写的新闻上训练的检测器对MF的准确率仍高于对HF的准确率，表明其对人类撰写的虚假新闻存在固有偏差。
• 引入混合数据（HR、HF、MR、MF）可提升域外泛化能力，尤其当训练数据中包含真实与虚假内容的均衡混合时效果更明显。
• 当在全人类数据上训练时，人类撰写的真新闻（HR）的性能退化最为严重，RoBERTa模型的准确率下降了-52.27，表明存在强烈的领域偏移问题。