[论文解读] HotFlip: White-Box Adversarial Examples for NLP

Javid Ebrahimi, Anyi Rao+2 more|arXiv (Cornell University)|Dec 19, 2017

Adversarial Robustness in Machine Learning参考文献 13被引用 38

一句话总结

HotFlip 提出了一种高效的 NLP 模型白盒对抗攻击方法，通过基于 one-hot 输入向量梯度的原子标记翻转操作实现。该方法能够以极小的扰动快速生成对抗样本，显著降低模型准确率，同时支持对抗训练和语义保持约束，适用于词级分类器。

ABSTRACT

We propose an efficient method to generate white-box adversarial examples to trick a character-level neural classifier. We find that only a few manipulations are needed to greatly decrease the accuracy. Our method relies on an atomic flip operation, which swaps one token for another, based on the gradients of the one-hot input vectors. Due to efficiency of our method, we can perform adversarial training which makes the model more robust to attacks at test time. With the use of a few semantics-preserving constraints, we demonstrate that HotFlip can be adapted to attack a word-level classifier as well.

研究动机与目标

• 开发一种高效生成 NLP 模型白盒对抗样本的方法，能够有效欺骗神经网络分类器。
• 通过使攻击在计算上可行，实现对抗训练以支持实时应用。
• 将攻击适配到词级分类器，同时通过约束保持语义意义。
• 证明仅限于标记互换的极小扰动即可显著降低模型准确率。

提出的方法

• 该方法使用原子翻转操作，根据 one-hot 输入向量的梯度，将一个标记替换为另一个。
• 基于梯度的评分机制识别最有效的标记互换，以最大化分类错误。
• 该方法计算效率高，足以在模型优化过程中实现端到端的对抗训练。
• 通过施加语义保持约束，确保翻转后的标记在词级分类任务中保持上下文连贯性。
• 该方法适用于字符级和词级神经网络分类器。

实验结果

研究问题

• RQ1 如何利用梯度信息高效生成 NLP 模型的对抗样本？
• RQ2 需要最少多少次标记翻转才能显著降低分类器性能？
• RQ3 该攻击能否在保持语义意义的前提下适配到词级模型？
• RQ4 使用该方法进行对抗训练在多大程度上能提升模型鲁棒性？

主要发现

• HotFlip 方法仅通过几次标记翻转即可成功生成对抗样本，导致模型准确率大幅下降。
• 该攻击计算效率高，可实现实际的对抗训练，从而提升模型鲁棒性。
• 通过引入语义保持约束，该方法可适配到词级分类器。
• 基于梯度的标记翻转在仅引入极小且难以察觉的修改下，能高效操纵模型预测。