[论文解读] A survey on Adversarial Attacks and Defenses in Text.

Wenqi Wang, Benxiao Tang+3 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 54被引用 31

一句话总结

本文对自然语言处理中的对抗性攻击与防御进行了全面综述，按NLP任务对攻击与防御方法进行分类，并提出通过测试与验证进行鲁棒性评估。文章识别出关键挑战，并勾勒出该新兴领域未来的研究方向。

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable success in various tasks (e.g., image classification, speech recognition, and natural language processing). However, researches have shown that DNN models are vulnerable to adversarial examples, which cause incorrect predictions by adding imperceptible perturbations into normal inputs. Studies on adversarial examples in image domain have been well investigated, but in texts the research is not enough, let alone a comprehensive survey in this field. In this paper, we aim at presenting a comprehensive understanding of adversarial attacks and corresponding mitigation strategies in texts. Specifically, we first give a taxonomy of adversarial attacks and defenses in texts from the perspective of different natural language processing (NLP) tasks, and then introduce how to build a robust DNN model via testing and verification. Finally, we discuss the existing challenges of adversarial attacks and defenses in texts and present the future research directions in this emerging field.

研究动机与目标

• 为应对文本深度学习模型中对抗性攻击与防御系统性理解的日益增长的需求。
• 识别并分类各种NLP任务（如文本分类和序列标注）中的现有对抗性攻击方法。
• 分析并分类旨在提高模型对文本中对抗性扰动鲁棒性的防御策略。
• 探索通过生成和分析对抗性样本在NLP中测试与验证模型鲁棒性的方法。
• 突出当前研究中的开放挑战，并提出对抗性NLP研究的未来研究方向。

提出的方法

• 基于NLP任务（包括文本分类、序列标注和文本生成）提出文本中对抗性攻击的分类法。
• 根据其机制对防御技术进行分类，如对抗性训练、输入转换和模型正则化。
• 引入测试与验证框架，通过生成和分析对抗性样本评估模型鲁棒性。
• 根据扰动类型对攻击进行分类，如词替换、标记级操作和句子级修改。
• 回顾用于生成文本中对抗性样本的基于梯度和基于搜索的方法，包括TextAttack和TextFool等方法。
• 通过实证评估框架分析在对抗性条件下模型准确率与鲁棒性之间的权衡。

实验结果

研究问题

• RQ1 如何在不同NLP任务中系统性地对文本中的对抗性攻击进行分类？
• RQ2 在NLP中，针对对抗性攻击最有效的防御机制是什么？它们在鲁棒性方面如何比较？
• RQ3 测试与验证方法在多大程度上能提升DNN模型在对抗性输入下的可靠性？
• RQ4 当前文本对抗性攻击与防御研究中的关键局限与开放挑战是什么？
• RQ5 在NLP模型鲁棒性方面，哪些未来研究方向最具前景？

主要发现

• 文本中的对抗性攻击主要利用词级或句子级扰动，这些扰动在语义上保持一致但会误导模型。
• 如对抗性训练和输入剪枝等防御方法表现出中等成功，但通常在面对自适应攻击时失效。
• 测试与验证框架对于识别模型漏洞至关重要，但在复杂NLP架构中仍发展不足。
• 不同NLP任务和模型架构之间对抗性鲁棒性的泛化能力存在显著差距。
• 当前防御方法通常在鲁棒性与自然性能之间存在权衡，凸显了对更平衡方法的需求。
• 该领域缺乏标准化基准和评估协议，阻碍了方法的可重现性与公平比较。