[论文解读] Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks

Xinyu Zhang, Hanbin Hong+5 more|arXiv (Cornell University)|Jul 31, 2023

Topic ModelingComputer Science参考文献 69被引用 3

一句话总结

Text-CRS 提出了一种基于随机平滑的广义认证鲁棒性框架，用于防御 NLP 模型在四种词级对抗操作下的攻击：同义词替换、重排、插入和删除。通过将这些操作建模为排列和嵌入空间变换的组合，并引入定制化的噪声分布，Text-CRS 在所有四种操作中均实现了最先进的认证准确率和鲁棒性半径，建立了 NLP 领域认证鲁棒性的首个全面基准。

ABSTRACT

The language models, especially the basic text classification models, have been shown to be susceptible to textual adversarial attacks such as synonym substitution and word insertion attacks. To defend against such attacks, a growing body of research has been devoted to improving the model robustness. However, providing provable robustness guarantees instead of empirical robustness is still widely unexplored. In this paper, we propose Text-CRS, a generalized certified robustness framework for natural language processing (NLP) based on randomized smoothing. To our best knowledge, existing certified schemes for NLP can only certify the robustness against $\ell_0$ perturbations in synonym substitution attacks. Representing each word-level adversarial operation (i.e., synonym substitution, word reordering, insertion, and deletion) as a combination of permutation and embedding transformation, we propose novel smoothing theorems to derive robustness bounds in both permutation and embedding space against such adversarial operations. To further improve certified accuracy and radius, we consider the numerical relationships between discrete words and select proper noise distributions for the randomized smoothing. Finally, we conduct substantial experiments on multiple language models and datasets. Text-CRS can address all four different word-level adversarial operations and achieve a significant accuracy improvement. We also provide the first benchmark on certified accuracy and radius of four word-level operations, besides outperforming the state-of-the-art certification against synonym substitution attacks.

研究动机与目标

• 为解决 NLP 中针对多样化词级对抗操作缺乏可证明鲁棒性保证的问题。
• 将认证鲁棒性从针对同义词替换的 $ε$-鲁棒性扩展至包含重排、插入和删除操作。
• 开发一个统一框架，将随机平滑推广至离散文本扰动。
• 通过优化噪声分布和增强训练，提升认证准确率和鲁棒性半径。
• 建立首个涵盖四种不同词级对抗操作的认证准确率与鲁棒性半径的基准。

提出的方法

• 将每种词级对抗操作（替换、重排、插入、删除）表示为排列和嵌入空间变换的组合。
• 推导新的平滑定理，以在排列空间和嵌入空间中推导认证鲁棒性边界。
• 引入广义平滑框架，使用离散噪声分布（阶梯形、高斯、伯努利），并根据 $ε$-范数（$\ell_1$、$\ell_2$、$\ell_0$）适配不同操作。
• 提出一种基于离散词间数值关系的噪声选择策略，以提升认证准确率和鲁棒性半径。
• 设计一种增强训练工具包，以优化新噪声分布下的平滑分类器性能。
• 将该框架应用于多种预训练语言模型和数据集，以验证其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 随机平滑能否被推广，以在同义词替换之外的多种词级对抗操作中提供认证鲁棒性？
• RQ2 如何联合建模排列和嵌入空间变换，以推导多样化文本扰动的鲁棒性边界？
• RQ3 在离散文本操作中，哪种噪声分布最能有效提升认证准确率和鲁棒性半径？
• RQ4 统一的平滑框架能否在所有四种基本词级操作中实现实际的认证鲁棒性？
• RQ5 与现有最先进的认证防御方法相比，该方法在认证准确率和鲁棒性半径方面表现如何？

主要发现

• Text-CRS 在同义词替换攻击中实现了最先进的认证准确率和鲁棒性半径，优于先前方法如 SAFER 和 CISS。
• 该框架首次建立了针对词重排、插入和删除的认证鲁棒性基准，这些操作此前在认证防御中尚未被充分覆盖。
• 通过使用定制化噪声分布（阶梯形、高斯、伯努利），Text-CRS 显著提升了认证准确率和鲁棒性半径，优于均匀或标准高斯噪声。
• 该方法在多种语言模型和数据集（包括 BERT 和 RoBERTa）上，于情感分析和文本分类等任务中表现出强大的泛化能力。
• 增强的训练工具包显著提升了认证准确率，验证了噪声分布选择的有效性。
• Text-CRS 为所有四种词级操作提供了实际的认证半径，在真实对抗环境中表现出可测量的鲁棒性。