[论文解读] MALCOM: Generating Malicious Comments to Attack Neural Fake News Detection Models

Thai Le, Suhang Wang+1 more|arXiv (Cornell University)|Sep 1, 2020

Misinformation and Its Impacts参考文献 39被引用 4

一句话总结

本文提出 Malcom，一种端到端的对抗性评论生成框架，通过生成逼真、基于评论的攻击，欺骗最先进的神经网络虚假新闻检测模型。Malcom 在白盒和黑盒设置下分别实现了 94% 和 93.5% 的攻击成功率，通过生成隐蔽且连贯的评论，使检测器错误地将真实新闻分类为虚假新闻，或将虚假新闻分类为真实新闻。

ABSTRACT

In recent years, the proliferation of so-called "fake news" has caused much disruptions in society and weakened the news ecosystem. Therefore, to mitigate such problems, researchers have developed state-of-the-art models to auto-detect fake news on social media using sophisticated data science and machine learning techniques. In this work, then, we ask "what if adversaries attempt to attack such detection models?" and investigate related issues by (i) proposing a novel threat model against fake news detectors, in which adversaries can post malicious comments toward news articles to mislead fake news detectors, and (ii) developing MALCOM, an end-to-end adversarial comment generation framework to achieve such an attack. Through a comprehensive evaluation, we demonstrate that about 94% and 93.5% of the time on average MALCOM can successfully mislead five of the latest neural detection models to always output targeted real and fake news labels. Furthermore, MALCOM can also fool black box fake news detectors to always output real news labels 90% of the time on average. We also compare our attack model with four baselines across two real-world datasets, not only on attack performance but also on generated quality, coherency, transferability, and robustness.

研究动机与目标

• 探究最先进的神经网络虚假新闻检测器在用户生成评论的对抗性攻击下的脆弱性。
• 解决现有攻击仅聚焦于操纵文章标题或内容，而忽略社交媒体评论的缺陷。
• 开发一种实用的端到端框架，无需拥有目标文章，即可生成逼真、连贯且高度有效的对抗性评论。
• 在白盒和黑盒设置下评估攻击效果，包括跨模型的可迁移性以及在防御机制下的鲁棒性。
• 证明恶意评论不仅可用于推广虚假新闻，还可用于贬低真实新闻，从而扩大攻击的社会影响。

提出的方法

• Malcom 采用条件变分自编码器（CVAE）并结合风格感知生成器，生成在语义上连贯且在风格上与真实用户评论一致的评论。
• 其集成目标攻击模块，通过优化评论生成过程，最大化将目标文章错误分类为特定标签（真实或虚假）的概率。
• 该框架通过 CopyCat 实现基于检索的初始评论选择，根据文章主题和目标标签挑选相关且高质量的起始评论。
• Malcom 联合优化风格模块与攻击模块，前者提升语言质量和连贯性，后者最大化欺骗率，二者协同优化。
• 攻击在白盒和黑盒设置下实现，跨五种最先进的虚假新闻检测模型测试了可迁移性。
• 消融研究验证了风格模块与攻击模块的必要性，表明移除任一模块均会显著降低连贯性或攻击成功率。

实验结果

研究问题

• RQ1 能否生成既逼真又有效的对抗性评论，以欺骗最先进的神经网络虚假新闻检测器？
• RQ2 与现有基线相比，Malcom 在白盒和黑盒虚假新闻检测模型上的攻击效果如何？
• RQ3 Malcom 生成的评论在多大程度上能因连贯性和相关性而逃避免疫检测机制？
• RQ4 该攻击是否能成功将真实新闻误分类为虚假新闻，或将虚假新闻误分类为真实新闻，从而体现双向攻击能力？
• RQ5 Malcom 的风格模块与攻击模块在独立和联合作用下，对整体攻击性能和评论质量的贡献分别是什么？

主要发现

• Malcom 在白盒设置下成功欺骗五种最先进的虚假新闻检测模型，使其预测目标标签（真实或虚假）的平均攻击成功率达到 94%。
• 在黑盒设置下，Malcom 实现了 90% 的平均攻击成功率，展现出强大的跨模型可迁移性。
• 在 GossipCop 数据集上，Malcom 在白盒设置下达到 98.1% 的攻击成功率，无论在攻击性能还是评论质量方面均优于所有基线方法。
• 消融研究证实，移除风格模块会降低连贯性与质量，而移除攻击模块则会显著降低攻击成功率，证明两个模块均不可或缺。
• Malcom 生成的评论在连贯性与多样性方面显著优于基线方法，ROUGE-L 和 BERTScore 指标更高，表明其与目标文章的语义对齐更优。
• 即使在具备过滤低质量或无关评论能力的鲁棒防御系统下，Malcom 仍保持高攻击成功率，展现出对检测机制的强韧性。