[论文解读] Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation

Kung-Hsiang Huang, Kathleen McKeown+3 more|arXiv (Cornell University)|Mar 10, 2022

Misinformation and Its Impacts被引用 5

一句话总结

本文提出一种框架，通过在事实一致、语境合理的新闻文章中注入类人传播技巧（如情感负载语言、诉诸权威等），生成用于虚假新闻检测的训练数据。利用基于自然语言蕴涵模型的自Critical序列训练方法，生成高质量、带有宣传色彩的虚假新闻样本，使检测器在人工撰写的信息误导数据集上的F1得分提升3.62–7.69%。同时发布了PropaNews数据集（2,256个样本），以支持未来研究。

ABSTRACT

Despite recent advances in detecting fake news generated by neural models, their results are not readily applicable to effective detection of human-written disinformation. What limits the successful transfer between them is the sizable gap between machine-generated fake news and human-authored ones, including the notable differences in terms of style and underlying intent. With this in mind, we propose a novel framework for generating training examples that are informed by the known styles and strategies of human-authored propaganda. Specifically, we perform self-critical sequence training guided by natural language inference to ensure the validity of the generated articles, while also incorporating propaganda techniques, such as appeal to authority and loaded language. In particular, we create a new training dataset, PropaNews, with 2,256 examples, which we release for future use. Our experimental results show that fake news detectors trained on PropaNews are better at detecting human-written disinformation by 3.62 - 7.69% F1 score on two public datasets.

研究动机与目标

• 解决机器生成的虚假新闻与人工撰写的信息误导之间的差距，以限制现有检测模型的迁移能力。
• 通过生成模仿人类作者宣传风格和策略的训练数据，提升虚假新闻检测能力。
• 为手动整理信息误导数据集这一耗时且规模受限的流程，提供一种可扩展、可靠的替代方案。
• 开发一种整合自然语言蕴涵技术以确保连贯性、并结合宣传技巧以增强真实感的数据生成框架。
• 发布一个新的数据集PropaNews，以支持未来对人工撰写信息误导的检测研究。

提出的方法

• 给定一篇真实新闻文章，该方法使用序列到序列模型识别一个关键句子，用一个看似合理但虚假的陈述进行替换。
• 生成过程通过自Critical序列训练进行引导，将预训练的自然语言蕴涵（NLI）模型引入损失函数，以确保生成内容与原文语境具有蕴涵关系。
• 使用NLI模型过滤掉可从原文逻辑推导出的生成句子，确保事实上的不一致性和真实性。
• 明确地将如情感负载语言、诉诸权威等宣传技巧注入生成文本中，以模仿人类信息误导策略。
• 该框架结合预训练的Transformer模型与精心整理的宣传模板进行训练与评估。
• 最终输出为一个合成数据集PropaNews，包含2,256个高质量、带有宣传色彩的虚假新闻样本。

实验结果

研究问题

• RQ1 通过注入类人宣传技巧生成虚假新闻，能否提升虚假新闻检测器对人工撰写信息误导的泛化能力？
• RQ2 在生成过程中整合自然语言蕴涵技术，如何影响生成虚假新闻的连贯性与可信度？
• RQ3 与基线生成方法相比，基于PropaNews训练的检测器在真实人工撰写的信息误导数据集上的检测性能提升程度如何？
• RQ4 机器生成与人工撰写虚假新闻在风格和意图上的差异，对检测器性能造成何种影响？
• RQ5 所提出的方法能否扩展至其他语言，以及支持除当前已实现外的更多宣传技巧？

主要发现

• 在PropaNews数据集上训练的虚假新闻检测器，在两个公开的人工撰写信息误导数据集PolitiFact和Snopes上，F1得分提升了3.62–7.69%。
• 该性能提升在不同模型架构中均保持一致，表明生成训练数据的鲁棒性。
• 使用结合NLI模型的自Critical序列训练，显著提升了生成虚假新闻的连贯性与可信度，确保其与原文语境在逻辑上一致。
• 生成器成功注入了如情感负载语言和诉诸权威等关键宣传技巧，使生成内容更贴近真实的人工撰写信息误导。
• 尽管性能有所提升，当训练数据规模超过原始Snopes数据集五倍时，检测器性能趋于饱和，表明合成数据与人工撰写内容之间仍存在持久差距。
• 该方法目前仅限于英文，且无法生成如稻草人谬误等特定宣传技巧，凸显了未来扩展的必要性。