[论文解读] Towards a Robust Deep Neural Network in Text Domain A Survey

Wenqi Wang, Lina Wang+3 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 77被引用 4

一句话总结

本综述对自然语言处理中的对抗性攻击与防御进行了全面分析，按NLP任务对攻击进行分类，并通过测试与验证提出增强DNN训练的鲁棒性方法。它识别出关键挑战，并概述了文本对抗鲁棒性领域的未来研究方向。

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable success in various tasks (e.g., image classification, speech recognition, and natural language processing). However, researches have shown that DNN models are vulnerable to adversarial examples, which cause incorrect predictions by adding imperceptible perturbations into normal inputs. Studies on adversarial examples in image domain have been well investigated, but in texts the research is not enough, let alone a comprehensive survey in this field. In this paper, we aim at presenting a comprehensive understanding of adversarial attacks and corresponding mitigation strategies in texts. Specifically, we first give a taxonomy of adversarial attacks and defenses in texts from the perspective of different natural language processing (NLP) tasks, and then introduce how to build a robust DNN model via testing and verification. Finally, we discuss the existing challenges of adversarial attacks and defenses in texts and present the future research directions in this emerging field.

研究动机与目标

• 为应对文本深度神经网络对抗鲁棒性系统性理解的日益增长的需求。
• 识别并分类自然语言处理任务（如文本分类和序列标注）中的对抗性攻击。
• 回顾现有防御策略，并评估其在减轻文本中对抗性扰动方面的有效性。
• 探索用于构建文本领域鲁棒DNN模型的测试与验证技术。
• 突出当前对抗鲁棒性研究中的开放挑战，并提出NLP领域未来的研究方向。

提出的方法

• 基于不同自然语言处理任务，提出文本对抗攻击的分类法，包括序列级和标记级扰动。
• 根据攻击目标对攻击进行分类，例如通过最小的、难以察觉的输入文本变化误导模型。
• 回顾防御机制，包括对抗性训练、输入净化和模型正则化技术。
• 引入测试与验证框架，以评估模型在对抗条件下的鲁棒性。
• 分析在不同攻击与防御策略下，模型准确率与鲁棒性之间的权衡。
• 强调系统化评估协议在文本DNN鲁棒性中的重要性。

实验结果

研究问题

• RQ1 如何在不同NLP任务中系统性地对文本领域的对抗性攻击进行分类？
• RQ2 在文本分类和序列建模中，哪些防御策略最能有效提升深度神经网络的鲁棒性？
• RQ3 测试与验证技术在多大程度上能确保DNN在文本对抗样本下的鲁棒性？
• RQ4 当前NLP对抗鲁棒性研究中的关键局限与开放挑战是什么？
• RQ5 哪些未来研究方向最有可能推动基于文本的深度学习模型鲁棒性的进步？

主要发现

• 文本中的对抗性攻击通常比图像中更隐蔽，依赖于词语替换或微小句法变化来误导模型。
• 如对抗性训练等防御方法虽能提升鲁棒性，但可能降低标准准确率，表明存在权衡关系。
• 测试与验证方法对于识别模型漏洞至关重要，但在文本领域仍研究不足。
• 缺乏标准化基准和评估协议，阻碍了防御方法之间的比较进展。
• 文本DNN的鲁棒性仍属新兴领域，攻击迁移性和泛化能力的理解仍存在显著空白。
• 未来研究应聚焦于可扩展的验证、可解释的防御，以及在分布偏移下的鲁棒性。