[論文レビュー] T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack

Boxin Wang, Hengzhi Pei+4 more|arXiv (Cornell University)|Dec 22, 2019

Topic Modeling参考文献 41被引用数 4

ひとこと要約

T3は、文を連続的空間に埋め込むことで勾配最適化を可能にするツリー自己符号化器ベースのフレームワークを提案し、文法的・意味的整合性を保つためにツリー文法ルールで復号する。この手法は、感情分析や質問応答（QA）などの自然言語処理（NLP）タスクにおいて高い攻撃成功率を達成するとともに、人間の読解性を維持し、ブラックボックス転送攻撃を可能にする。

ABSTRACT

Adversarial attacks against natural language processing systems, which perform seemingly innocuous modifications to inputs, can induce arbitrary mistakes to the target models. Though raised great concerns, such adversarial attacks can be leveraged to estimate the robustness of NLP models. Compared with the adversarial example generation in continuous data domain (e.g., image), generating adversarial text that preserves the original meaning is challenging since the text space is discrete and non-differentiable. To handle these challenges, we propose a target-controllable adversarial attack framework T3, which is applicable to a range of NLP tasks. In particular, we propose a tree-based autoencoder to embed the discrete text data into a continuous representation space, upon which we optimize the adversarial perturbation. A novel tree-based decoder is then applied to regularize the syntactic correctness of the generated text and manipulate it on either sentence (T3(Sent)) or word (T3(Word)) level. We consider two most representative NLP tasks: sentiment analysis and question answering (QA). Extensive experimental results and human studies show that T3 generated adversarial texts can successfully manipulate the NLP models to output the targeted incorrect answer without misleading the human. Moreover, we show that the generated adversarial texts have high transferability which enables the black-box attacks in practice. Our work sheds light on an effective and general way to examine the robustness of NLP models. Our code is publicly available at https://github.com/AI-secure/T3/.

研究の動機と目的

• 意味的意味を保持し、文法的に正しい攻撃文を生成するが、人間の検出を回避できる、目的指向の adversarial text を生成する課題に対処すること。
• 特に画像のような連続ドメインと比較して、離散的かつ微分不能なテキスト空間における adversarial attack 生成の制限を克服すること。
• 感情分析や質問応答などの多様なNLPタスクに適用可能な汎用的で、ターゲット制御可能な攻撃フレームワークを開発すること。
• 特に BERT などの最先端NLPモデルが、目的指向の adversarial 環境下でどれほど堅牢であるかを評価すること。
• NLPにおける実用的ブラックボックス攻撃シナリオにおいて、adversarial examples の転送性を調査すること。

提案手法

• 大規模コーパス上で事前学習されたツリー型自己符号化器により、離散的テキストを連続的意味表現空間にマッピングし、勾配最適化を可能にする。
• 依存木の階層的構造を活用して、語レベル（T3(Word)）または文レベル（T3(Sent)）の連続的埋め込み空間に adversarial パーティクルを適用する。
• 文法ルールを用いたツリー型デコーダーにより、摂動を加えた埋め込みから元の構文的構造と意味的内容を保持した adversarial 文を再構成する。
• 反復的最適化プロセスにより、攻撃成功確率を最大化するとともに、検出可能な変更を最小限に抑えるように摂動を調整する。
• フレームワークは、インプレース攻撃と挿入型攻撃の両方をサポートしており、後者は元の入力に adversarial 文を追加する。
• ブラックボックス攻撃のために、同じアーキテクチャを持つモデル間で転送性を活用し、あるモデルで adversarial examples を生成して他のモデルに転送する。

実験結果

リサーチクエスチョン

• RQ1 語レベルと文レベルのツリー階層のどちらが、より効果的で自然な adversarial 攻撃をもたらすか？
• RQ2 感情分類や質問応答などの一般的なNLPタスクに、高い成功率で目的指向攻撃を適用できるか？
• RQ3 adversarial examples がモデル間でどれほど転送可能か、特にブラックボックス設定下でどうか？
• RQ4 モデルアーキテクチャーやアテンション機構（例：BERTの長距離アテンション）が、adversarial 攻撃の効果に与える影響は何か？
• RQ5 adversarial examples は人間のパフォーマンスを著しく低下させるのか、それとも人間の読者が検出できないのか？

主な発見

• T3(Word) は複数のタスクで最高の攻撃成功率を達成したが、T3(Sent) はより文法的に正しい、人間には検出されにくい adversarial 文を生成した。
• T3 で生成された adversarial examples は、感情分類とQAタスクの両方で、NLPモデルを意図した誤った出力に操作したが、人間のアノテーターを欺くことはなかった。
• adversarial examples の転送性は強く、特に強力なモデル（例：BERT-QA）から弱いモデル（例：BiDAF）への転送が顕著で、逆方向の転送よりも高い成功率を示した。
• 同じアーキテクチャを持つモデル間での adversarial examples の転送性は、異なるアーキテクチャ間よりも顕著に高かった。
• BERT モデルは adversarial 攻撃に対して顕著な性能低下を示し、その最先端の精度とは対照的に、堅牢性に欠けていることがわかった。
• パラグラフの先頭または末尾に adversarial 文を追加することで BERT を攻撃する方が、中央に挿入するよりも効果的であり、BERT のアテンションが文の境界に偏っているためである。