[論文レビュー] Contextualized Perturbation for Textual Adversarial Attack

Dianqi Li, Yizhe Zhang+5 more|arXiv (Cornell University)|Sep 16, 2020

Adversarial Robustness in Machine Learning参考文献 60被引用数 20

ひとこと要約

CLARE は、事前学習済みマスク言語モデルを用いたマスク・トゥ・インフィルアプローチを採用する文脈に適した敵対的例生成モデルであり、3つの文脈に適した摂動（置換、挿入、結合）を用いる。このモデルは、ベースライン手法と比較して攻撃成功率が高く、編集回数が少ない一方で、自然で文法的に正しい、意味的に類似した敵対的テキストを生成する。

ABSTRACT

Adversarial examples expose the vulnerabilities of natural language processing (NLP) models, and can be used to evaluate and improve their robustness. Existing techniques of generating such examples are typically driven by local heuristic rules that are agnostic to the context, often resulting in unnatural and ungrammatical outputs. This paper presents CLARE, a ContextuaLized AdversaRial Example generation model that produces fluent and grammatical outputs through a mask-then-infill procedure. CLARE builds on a pre-trained masked language model and modifies the inputs in a context-aware manner. We propose three contextualized perturbations, Replace, Insert and Merge, allowing for generating outputs of varied lengths. With a richer range of available strategies, CLARE is able to attack a victim model more efficiently with fewer edits. Extensive experiments and human evaluation demonstrate that CLARE outperforms the baselines in terms of attack success rate, textual similarity, fluency and grammaticality.

研究の動機と目的

• 自然言語処理モデル向けの敵対的テキストを生成する際、ヒューリスティック的かつ文脈に依存しない手法の限界を解消すること。
• 事前学習済み言語モデルからの文脈知識を活用することで、敵対的例の流暢さ、文法的正しさ、意味的類似度を向上させること。
• トークン置換手法の固定長制約を克服し、出力長を柔軟に変更可能な摂動を可能にすること。
• 入力変更を最小限に抑えつつモデルの回避を最大化する効果的なブラックボックス攻撃戦略を開発すること。
• CLARE が生成する敵対的例が、特にデータが限られた状況下でも、敵対的訓練を通じてモデルの耐性を向上させられることを示すこと。

提案手法

• CLARE はマスク・トゥ・インフィル手順を採用：入力の特定の位置をマスクし、事前学習済みマスク言語モデル（例：RoBERTa）を用いて埋め込む。
• 3つの文脈に適した摂動操作を導入：置換（トークンの置き換え）、挿入（新しいトークンの追加）、結合（バイグラムを1つのトークンに統合）。
• 各摂動は攻撃効果と元の入力との類似度に基づいてスコア付けされランク付けされ、反復的な最適化が可能になる。
• モデルはブラックボックス設定で動作し、内部パラメータにアクセスせず、被害者モデルの予測結果のみに依存する。
• 摂動は入力シーケンスの任意の位置に適用可能で、柔軟かつ標的を絞った変更が可能になる。
• 文書埋め込みとコサイン類似度のしきい値を用いて類似度を維持し、元の入力と人間が認識可能な類似度を保証する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック的かつ文脈に依存しない手法と比較して、文脈に適した摂動は、敵対的テキストの流暢さと文法的正しさを向上させることができるか？
• RQ2 CLARE は、攻撃成功率を維持しつつ、出力長の異なる敵対的例をどの程度生成できるか？
• RQ3 攻撃成功率、テキスト類似度、流暢さ、文法的正しさの観点から、CLARE は最先端のベースラインと比べてどの程度優れているか？
• RQ4 CLARE が生成する敵対的例は、特に訓練データが限られた状況下でも、下流の NLP モデルの耐性を向上させることができるか？
• RQ5 事前学習済みマスク言語モデルの使用により、より自然で意味的に整合性のある敵対的例が生成可能になるか？

主な発見

• CLARE は、テキスト分類、自然言語推論、文の並び替えタスクにおいて、ベースライン手法と比較してより高い攻撃成功率を達成した。
• 人間による評価では、CLARE が生成した例は、ベースラインの例と比較して著しく流暢で文法的に正しいことが確認された。
• 文書埋め込みのコサイン類似度で測定したところ、CLARE は同義語置換法やヒューリスティック手法と比較して、元の入力との類似度をより高く維持した。
• 攻撃に成功するための編集回数が少なく、摂動の効率性が優れていることが示された。
• CLARE が生成する例を用いた敵対的訓練により、微調整された BERT モデルの耐性が向上し、特にデータが少ない状況下で顕著であった。
• 置換、挿入、結合の3つの摂動の組み合わせにより、意味を保持しつつ検出を回避可能な柔軟で文脈に適した変更が可能になった。