[论文解读] How Vulnerable Are Automatic Fake News Detection Methods to Adversarial Attacks?

Camille Koenders, Johannes Filla+2 more|arXiv (Cornell University)|Jul 16, 2021

Misinformation and Its Impacts参考文献 26被引用 4

一句话总结

本文利用 TextAttack 工具库研究了当前最先进的假新闻检测模型在对抗性攻击下的脆弱性。结果表明，通过修改词语或字符（同时保持语义不变），65.15% 的假新闻句子可被自动操纵以逃避检测，其中词级别攻击显著优于字符级别攻击。

ABSTRACT

As the spread of false information on the internet has increased dramatically in recent years, more and more attention is being paid to automated fake news detection. Some fake news detection methods are already quite successful. Nevertheless, there are still many vulnerabilities in the detection algorithms. The reason for this is that fake news publishers can structure and formulate their texts in such a way that a detection algorithm does not expose this text as fake news. This paper shows that it is possible to automatically attack state-of-the-art models that have been trained to detect Fake News, making these vulnerable. For this purpose, corresponding models were first trained based on a dataset. Then, using Text-Attack, an attempt was made to manipulate the trained models in such a way that previously correctly identified fake news was classified as true news. The results show that it is possible to automatically bypass Fake News detection mechanisms, leading to implications concerning existing policy initiatives.

研究动机与目标

• 评估自动化假新闻检测模型对对抗性攻击的脆弱性。
• 评估对抗性扰动是否能成功绕过训练好的假新闻分类器。
• 比较不同模型（BERTweet、RoBERTa 和 Flair）在各种攻击类型下的鲁棒性。
• 分析词级别与字符级别攻击配方在操纵检测结果方面的有效性。
• 通过揭示依赖 AI 分类器的自动化内容审核策略所面临的风险，为政策制定提供依据。

提出的方法

• 在假新闻句子数据集上训练了三种最先进的假新闻检测模型：BERTweet、RoBERTa 和 Flair。
• 使用 TextAttack 通过词语和字符级别的扰动修改输入句子，生成对抗性样本。
• 应用了多种攻击配方：TextFooler、IGAWang、PWWS、PSOZang、BAEGarg、DeepWordBug、TextBugger、Pruthi 和 CheckList2020。
• 使用公式 $ S_r = \frac{1}{a} \sum_{i=1}^{a} \frac{s_i}{s_i + f_i} $ 计算成功率，其中 $ s_i $ 为每种配方的成功攻击次数，$ f_i $ 为失败攻击次数。
• 为聚焦于针对初始分类正确的假新闻的攻击，从成功率计算中排除了被模型初始误分类的样本。
• 通过测量扰动后句子被重新分类为真实新闻的频率，评估模型的鲁棒性。

实验结果

研究问题

• RQ1 使用 TextAttack 的对抗性攻击下，自动化假新闻检测模型的脆弱性如何？
• RQ2 在逃避检测方面，词级别攻击与字符级别攻击哪种类型的成功率更高？
• RQ3 不同预训练模型（BERTweet、RoBERTa、Flair）在对抗性操纵下的易感性如何比较？
• RQ4 对抗性扰动在逃避检测的同时，能在多大程度上保持语义一致性？
• RQ5 这些脆弱性对以政策为导向的内容审核策略有何影响？

主要发现

• 所有模型的对抗性攻击总体成功率高达 65.15%，表明超过 60% 的假新闻句子可被成功重新分类为真实新闻。
• BERTweet 的成功率最高，达到 72.45%，其次为 RoBERTa 的 68.22%，而 Flair 最具鲁棒性，成功率为 54.77%。
• 词级别攻击的平均成功率为 76.87%，显著优于字符级别和混合攻击的平均成功率 55.21%。
• TextFooler（成功率为 81.17%）和 IGAWang（成功率为 70%）是其中最有效的攻击配方，而 CheckList2020 和 Pruthi 表现较差，成功率分别为 9.83% 和 27.83%。
• Flair 使用上下文相关的字符串嵌入，使其相比依赖文档级别嵌入的模型更具对抗性攻击的抗性。
• 尽管攻击成功率较高，但许多经过对抗性修改的句子仍包含明显错误（例如：'TrOmp hsut down American airportA on 4 Jul 201B'），表明人工检测仍可能有效。