[论文解读] Fake News in Sheep's Clothing: Robust Fake News Detection Against LLM-Empowered Style Attacks

Jiaying Wu, Guo, Jiafeng+1 more|arXiv (Cornell University)|Oct 16, 2023

Misinformation and Its Impacts参考文献 52被引用 5

一句话总结

本文提出 SheepDog，一种风格无关的虚假新闻检测器，通过利用大语言模型（LLM）驱动的新闻重述和以内容为核心的可信度归因，有效抵御 LLM 驱动的风格攻击，保持高检测准确率。通过在相同新闻内容的不同风格重述中强制预测一致性，并从 LLM 中蒸馏事实核查推理过程，SheepDog 在对抗性风格攻击下相比基线模型 F1 分数最高提升 38%，在三个基准数据集上展现出卓越的鲁棒性与可解释性。

ABSTRACT

It is commonly perceived that fake news and real news exhibit distinct writing styles, such as the use of sensationalist versus objective language. However, we emphasize that style-related features can also be exploited for style-based attacks. Notably, the advent of powerful Large Language Models (LLMs) has empowered malicious actors to mimic the style of trustworthy news sources, doing so swiftly, cost-effectively, and at scale. Our analysis reveals that LLM-camouflaged fake news content significantly undermines the effectiveness of state-of-the-art text-based detectors (up to 38% decrease in F1 Score), implying a severe vulnerability to stylistic variations. To address this, we introduce SheepDog, a style-robust fake news detector that prioritizes content over style in determining news veracity. SheepDog achieves this resilience through (1) LLM-empowered news reframings that inject style diversity into the training process by customizing articles to match different styles; (2) a style-agnostic training scheme that ensures consistent veracity predictions across style-diverse reframings; and (3) content-focused veracity attributions that distill content-centric guidelines from LLMs for debunking fake news, offering supplementary cues and potential intepretability that assist veracity prediction. Extensive experiments on three real-world benchmarks demonstrate SheepDog's style robustness and adaptability to various backbones.

研究动机与目标

• 解决当前最先进的基于文本的虚假新闻检测器在面对模仿权威新闻源的 LLM 驱动风格攻击时的脆弱性问题。
• 通过聚焦内容可信度而非写作风格，开发一种对风格变化具有鲁棒性的检测模型。
• 通过利用事实核查推理过程从 LLM 中提取以内容为核心的可信度归因，提升模型的可解释性。
• 建立一种训练范式，确保同一新闻内容在不同风格重述下的预测结果保持一致。

提出的方法

• SheepDog 利用面向风格的提示词，通过大语言模型（LLM）驱动的新闻重述技术，为每篇新闻生成多种风格变体，涵盖可靠与不可靠的语调。
• 采用风格无关的训练策略，通过最大化原始新闻及其重述版本之间的预测一致性，降低对基于风格信号的依赖。
• 通过提示 LLM 依据预定义的事实核查推理标准评估新闻，提取出以内容为核心的可信度归因，生成可信度的文本解释。
• 将这些归因转化为伪标签以监督模型训练，增强对内容可信度的关注。
• 模型采用微调后的语言模型主干网络，并结合可信度预测与归因学习的多任务学习目标。
• 该方法在多种大语言模型主干网络与重述提示组合上进行评估，确保泛化能力与鲁棒性。

Figure 1. A motivating example of LLM-empowered style attacks on text-based fake news detectors, where fake news is camouflaged with the style of reliable news publishers.

实验结果

研究问题

• RQ1 当前最先进的基于文本的虚假新闻检测器在面对模仿权威新闻源的 LLM 驱动风格攻击时有多脆弱？
• RQ2 当新闻内容通过 LLM 重构成多种写作风格时，虚假新闻检测器能否保持高性能？
• RQ3 从 LLM 中提取的以内容为核心的可信度归因在多大程度上能提升检测的鲁棒性与可解释性？
• RQ4 在不同风格重述中强制预测一致性是否能带来更可靠且风格无关的检测结果？
• RQ5 所提出的方法在不同新闻重述提示与模型架构之间具有多强的泛化能力？

主要发现

• 在 LLM 驱动的风格攻击下，SheepDog 的 F1 分数下降幅度相比 RoBERTa 与其他基线模型相对减少了 38%，表现显著更优。
• 在 PolitiFact、GossipCop 与 LUN 数据集上，SheepDog 的 F1 分数分别达到 80.99、74.45 与 85.63，展现出一致的优越性。
• 消融实验表明，若移除 LLM 驱动的重述或以内容为核心的归因机制，性能将出现显著下降，证实二者在模型中的关键作用。
• SheepDog 在四种不同的重述提示组合（R1–R4）下均保持稳定性能，表明其具备强大的泛化能力与鲁棒性。
• 案例研究证实，SheepDog 能够正确识别原始虚假新闻与对抗性风格重述后的虚假新闻，而 RoBERTa 基线模型在风格伪装版本上出现失败。
• 模型的最高可信度归因指向内容中的虚假或误导性陈述，为预测结果提供了可解释的依据。

Figure 2. Overview of our SheepDog style-agnostic fake news detector.