[论文解读] From Hero to Zéroe: A Benchmark of Low-Level Adversarial Attacks

Steffen Eger, Yannik Benz|arXiv (Cornell University)|Oct 12, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用 4

一句话总结

本文提出了 Zéroe，这是首个针对 NLP 模型的低级别对抗性攻击大规模基准，聚焦于模仿真实用户行为的字符级扰动，如拼写错误、视觉替换和语音变异。结果表明，尽管 RoBERTa 模型具备一定的鲁棒性，但在这些攻击下仍表现出显著的失败，揭示了当前最先进模型在人类可接受的、低级别扰动下的关键脆弱性。

ABSTRACT

Adversarial attacks are label-preserving modifications to inputs of machine learning classifiers designed to fool machines but not humans. Natural Language Processing (NLP) has mostly focused on high-level attack scenarios such as paraphrasing input texts. We argue that these are less realistic in typical application scenarios such as in social media, and instead focus on low-level attacks on the character-level. Guided by human cognitive abilities and human robustness, we propose the first large-scale catalogue and benchmark of low-level adversarial attacks, which we dub Zéroe, encompassing nine different attack modes including visual and phonetic adversaries. We show that RoBERTa, NLP's current workhorse, fails on our attacks. Our dataset provides a benchmark for testing robustness of future more human-like NLP models.

研究动机与目标

• 为解决 NLP 领域缺乏反映社交媒体等平台真实用户行为的、现实的低级别对抗性攻击基准的问题。
• 基于人类认知限制和感知鲁棒性，识别并整理九种不同的字符级攻击模式，如拼写错误、视觉替换和语音变化。
• 评估 RoBERTa（一种领先的 NLP 模型）在这些攻击下的鲁棒性，并展示其在合理对抗条件下的失败表现。
• 提供标准化的基准数据集和代码，以支持未来针对更符合人类行为、更具鲁棒性的 NLP 模型的研究。

提出的方法

• 作者定义并实现了九种低级别攻击模式：内层置换、全置换、插入、去元音、截断、分段、拼写错误、自然噪声、语音和视觉，每种均在字符级别修改输入文本。
• 每种攻击类型系统性地应用于多样化的输入句子，保持语义意义不变，同时改变拼写形式以模仿人类错误或混淆行为。
• 该基准基于真实的语言学和感知约束构建，确保扰动对人类而言仍可读且合理。
• 在所有攻击类型上评估 RoBERTa 的零样本分类性能，并与随机基线和干净输入结果进行对比。
• 使用 Zéroe 数据集进行对抗性训练，以评估标准训练协议下模型鲁棒性是否可提升。
• 该基准已通过 https://github.com/yannikbenz/zeroe 公开发布代码与数据，以支持可复现性和未来研究。

实验结果

研究问题

• RQ1 低级别、字符级对抗性攻击（如拼写错误、视觉替换和语音变化）如何影响 RoBERTa 等最先进 NLP 模型的性能？
• RQ2 RoBERTa 及类似模型在模仿社交媒体或垃圾信息场景中真实人类行为的攻击下，其脆弱性程度如何？
• RQ3 当暴露于多样化、符合人类行为的低级别扰动集合时，标准对抗性训练技术能否有效恢复模型的鲁棒性？
• RQ4 是否存在某些攻击类型导致 RoBERTa 性能出现不成比例的大幅下降，从而揭示其架构或注意力机制中的结构性缺陷？

主要发现

• 在某些低级别攻击下，RoBERTa 的性能显著下降，准确率最低降至随机猜测基线水平（约 0.5），尤其在视觉攻击和高级语音扰动等最严重攻击类型下。
• 视觉攻击模式导致最严重的性能退化，使 RoBERTa 在高置信度输入上的准确率降至 0.70，表明其对视觉相似字符替换存在关键脆弱性。
• 即使在使用 Zéroe 数据集进行对抗性训练后，RoBERTa 的性能仅获得微弱提升，表明标准对抗性训练在复杂、符合人类行为的低级别攻击上泛化能力有限。
• 语音和自然噪声攻击类型导致中等但稳定的性能下降，高置信度输入下的准确率降至约 0.90–0.92，表明仅靠语义和语音相似性不足以维持模型鲁棒性。
• 内层置换和去元音攻击虽然更具感知合理性，但造成的退化较轻，准确率保持在 0.92 以上，表明 RoBERTa 对这些特定扰动仍具备一定韧性。
• 该基准揭示，RoBERTa 对于不改变词边界的视觉或语音形式改变特别敏感，暴露了人类与模型在处理拼写变异时的根本性不匹配。