[论文解读] Adversarial Attacks and Defense on Texts: A Survey

Aminul Huq, Mst. Tasnim Pervin|arXiv (Cornell University)|May 28, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用 13

一句话总结

本综述对自然语言处理中的对抗性攻击与防御技术进行了全面分析，按扰动级别对攻击方法进行分类，按方法对防御策略进行分类。它指出了关键挑战，如离散文本数据、不可察觉性问题、缺乏基准测试以及缺乏统一的防御模型，同时强调了标准化工具包和文本通用扰动的必要性。

ABSTRACT

Deep learning models have been used widely for various purposes in recent years in object recognition, self-driving cars, face recognition, speech recognition, sentiment analysis, and many others. However, in recent years it has been shown that these models possess weakness to noises which force the model to misclassify. This issue has been studied profoundly in the image and audio domain. Very little has been studied on this issue concerning textual data. Even less survey on this topic has been performed to understand different types of attacks and defense techniques. In this manuscript, we accumulated and analyzed different attacking techniques and various defense models to provide a more comprehensive idea. Later we point out some of the interesting findings of all papers and challenges that need to be overcome to move forward in this field.

研究动机与目标

• 系统分析并分类文本深度学习模型中的对抗性攻击与防御技术。
• 识别当前对抗性自然语言处理研究中的局限性与挑战，特别是针对离散数据、不可察觉性以及缺乏标准化的问题。
• 在情感分析、机器翻译和问答等自然语言处理任务中，比较现有的攻击与防御方法。
• 突出研究焦点的不平衡性——大多数研究集中于攻击，而防御研究则相对不足。
• 提出未来研究方向，包括统一防御模型、通用扰动以及标准化基准和工具包的必要性。

提出的方法

• 本文基于100多篇涵盖分类、翻译和问答任务的研究论文，对自然语言处理中的对抗性攻击与防御进行了系统性文献综述。
• 根据扰动级别（词、子词、字符）和攻击策略（基于梯度、基于搜索、基于启发式）对攻击进行分类，示例包括HotFlip和TextAttack等方法。
• 防御方法按类型分为对抗性训练、输入转换、模型蒸馏和鲁棒架构设计，具体示例包括针对拼写攻击的SEM和Pruthi等人（2019）的方法。
• 通过攻击级别与防御机制的分类体系评估技术，基于IMDB、SNLI、SQuAD和WMT等数据集比较其有效性。
• 通过对比现有综述分析识别出研究空白，强调了文本对抗研究缺乏标准基准或开源工具包。
• 研究方法包括对攻击生成策略与防御实现方式的深入审查，进行关键发现、挑战与开放问题的综合分析。

实验结果

研究问题

• RQ1 自然语言处理中的对抗性攻击主要有哪些类别与分类体系？它们与图像领域中的攻击有何不同？
• RQ2 当前防御机制在缓解各类文本对抗攻击方面的有效性如何？其局限性是什么？
• RQ3 为何在文本中实现不可察觉性更具挑战性？文本的离散性如何影响对抗性攻击的设计？
• RQ4 阻碍对抗性自然语言处理研究进展的关键挑战是什么？包括缺乏基准测试与标准工具包。
• RQ5 能否开发出一种统一的防御策略以应对多种攻击类型？还是当前防御本质上具有任务与攻击类型特异性？

主要发现

• 字符级别的扰动（如添加句点或空格）可显著改变模型预测结果，表明即使是最小的改动也可能破坏模型的鲁棒性。
• 大多数研究集中于攻击策略，仅有少数研究关注防御，表明研究关注度存在显著不平衡。
• 文本中对抗样本的生成大多遵循两步过程：识别最具影响力的词，并用对抗性候选词替换，以误导模型。
• 目前尚无防御策略能有效应对所有类型的攻击（如同义词替换或拼写攻击），凸显了缺乏统一防御框架的问题。
• 缺乏标准基准和文本对抗研究的开源工具包，阻碍了方法间的可复现性与公平比较。
• 通用扰动（对多个输入均有效）尚未成功扩展至文本领域，而图像领域已实现，这构成了一个重大的开放性挑战。