[論文レビュー] Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks

Xinyu Zhang, Hanbin Hong+5 more|arXiv (Cornell University)|Jul 31, 2023

Topic ModelingComputer Science参考文献 69被引用数 3

ひとこと要約

Text-CRS は、ランダム化スムージングを用いて、語の置換、再配置、挿入、削除の4つの語レベルの敵対的攻撃に対して一般化された認証可能ロバスト性フレームワークを提案する。これらの操作を置換と埋め込み空間変換の組み合わせとしてモデル化し、特化したノイズ分布を導入することで、Text-CRS は4つの操作すべてにおいて最先端の認証可能精度と半径を達成し、NLPにおける認証可能ロバスト性のための最初の包括的ベンチマークを確立する。

ABSTRACT

The language models, especially the basic text classification models, have been shown to be susceptible to textual adversarial attacks such as synonym substitution and word insertion attacks. To defend against such attacks, a growing body of research has been devoted to improving the model robustness. However, providing provable robustness guarantees instead of empirical robustness is still widely unexplored. In this paper, we propose Text-CRS, a generalized certified robustness framework for natural language processing (NLP) based on randomized smoothing. To our best knowledge, existing certified schemes for NLP can only certify the robustness against $\ell_0$ perturbations in synonym substitution attacks. Representing each word-level adversarial operation (i.e., synonym substitution, word reordering, insertion, and deletion) as a combination of permutation and embedding transformation, we propose novel smoothing theorems to derive robustness bounds in both permutation and embedding space against such adversarial operations. To further improve certified accuracy and radius, we consider the numerical relationships between discrete words and select proper noise distributions for the randomized smoothing. Finally, we conduct substantial experiments on multiple language models and datasets. Text-CRS can address all four different word-level adversarial operations and achieve a significant accuracy improvement. We also provide the first benchmark on certified accuracy and radius of four word-level operations, besides outperforming the state-of-the-art certification against synonym substitution attacks.

研究の動機と目的

• NLP における多様な語レベルの敵対的攻撃に対して、証明可能なロバスト性保証が不足している問題に対処すること。
• 語の置換に対する $ε$-ロバスト性を超えて、再配置、挿入、削除を含むロバスト性を拡張すること。
• 離散的テキスト摂動に対してランダム化スムージングを一般化する統一フレームワークを構築すること。
• 最適化されたノイズ分布と強化された訓練を用いて、認証可能精度とロバスト性半径を向上させること。
• 4つの異なる語レベルの敵対的攻撃に対して、認証可能精度と半径のための最初のベンチマークを確立すること。

提案手法

• 語の置換、再配置、挿入、削除といった語レベルの敵対的攻撃を、置換と埋め込み空間変換の組み合わせとして表現する。
• 置換空間および埋め込み空間における認証可能ロバスト性の境界を導出するための新しいスムージング定理を導出する。
• 離散的ノイズ分布（段差型、ガウス型、ベルヌーイ型）を用いた一般化されたスムージングフレームワークを導入し、$ε$-ノルム（$\ell_1$、$\ell_2$、$\ell_0$）に適合させる。
• 離散的語の間の数値的関係に基づいたノイズ選択戦略を提案し、認証可能精度とロバスト性半径を向上させる。
• 新しいノイズ分布下でのスムージング分類器の性能を最適化するための強化された訓練ツールキットを設計する。
• さまざまな事前学習済み言語モデルとデータセットにフレームワークを適用し、ロバスト性と一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化スムージングは、語の置換を超えて、複数の語レベルの敵対的攻撃に対して一般化され、認証可能ロバスト性を提供できるか？
• RQ2 置換と埋め込み空間変換を同時にモデル化することで、多様なテキスト摂動に対するロバスト性境界を導出できるか？
• RQ3 離散的テキスト操作において、認証可能精度とロバスト性半径を最大化するのに最も効果的なノイズ分布は何か？
• RQ4 統一されたスムージングフレームワークは、4つの基本的な語レベルの攻撃すべてに対して実用的な認証可能ロバスト性を達成できるか？
• RQ5 提案手法は、認証可能精度とロバスト性半径の観点で、最先端の認証可能防御手法と比較して優れているか？

主な発見

• Text-CRS は、語の置換攻撃において、SAFER や CISS といった先行手法を上回る最先端の認証可能精度と半径を達成する。
• 本フレームワークは、語の再配置、挿入、削除に対する認証可能ロバスト性のための最初のベンチマークを確立し、これらは従来の認証可能防御ではカバーされていなかった。
• 段差型、ガウス型、ベルヌーイ型といった特化したノイズ分布を用いることで、一様分布や標準ガウス分布と比較して、認証可能精度とロバスト性半径が顕著に向上する。
• 本手法は、センチメント分析やテキスト分類などのタスクにおいて、BERT や RoBERTa などの多様な言語モデルとデータセットにわたり、強力な一般化性能を示す。
• 強化された訓練ツールキットは、認証可能精度の明確な向上に寄与し、ノイズ分布選択戦略の有効性を裏付ける。
• Text-CRS は、4つの語レベルの攻撃すべてに対して実用的な認証可能半径を提供し、現実の敵対的環境でも測定可能なロバスト性を示す。