[論文レビュー] Universal Adversarial Attacks with Natural Triggers for Text Classification

Liwei Song, Xinwei Yu+2 more|arXiv (Cornell University)|May 1, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 11

ひとこと要約

本稿では、意味のない語の並びではなく自然で流れの良いトリガーを用いることで、テキスト分類のためのユニバーサル adversarial 攻撃を生成する Natural Universal Trigger Search (NUTS) を提案する。敵対的正則化付きオートエンコーダー (ARAE) と l₂ 正則化を施した勾配ベース最適化を活用することで、NUTS は高い攻撃成功率（例：SST で 19.96%）を達成するとともに、著しく自然なトリガーを生成する。人間の評価者 77.78% が NUTS のトリガーをベースラインより自然だと評価し、44.27% が自然に生成されたものだと判断しており、従来の手法よりも検出が困難であることが示された。

ABSTRACT

Recent work has demonstrated the vulnerability of modern text classifiers to universal adversarial attacks, which are input-agnostic sequences of words added to text processed by classifiers. Despite being successful, the word sequences produced in such attacks are often ungrammatical and can be easily distinguished from natural text. We develop adversarial attacks that appear closer to natural English phrases and yet confuse classification systems when added to benign inputs. We leverage an adversarially regularized autoencoder (ARAE) to generate triggers and propose a gradient-based search that aims to maximize the downstream classifier's prediction loss. Our attacks effectively reduce model accuracy on classification tasks while being less identifiable than prior models as per automatic detection metrics and human-subject studies. Our aim is to demonstrate that adversarial attacks can be made harder to detect than previously thought and to enable the development of appropriate defenses.

研究の動機と目的

• 自然で検出されやすいトリガーを用いたユニバーサル adversarial 攻撃に対して、テキスト分類器が脆弱であるという問題に取り組むこと。
• 自動化されたツールや人間の観察者によっても区別がつかない自然な言語に似た adversarial トリガーを生成する手法を開発すること。
• adversarial 攻撃が従来の考えをはるかに上回るステルス性を持つことが示され、より強固な防御の必要性が浮き彫りになること。
• 白ボックスアクセスに依存しないで、異なるモデルやデータセット間で攻撃を転送可能にするための手法を実現すること。

提案手法

• 連続的なノイズベクトルから意味的整合性と流暢さを保証する自然なテキストを生成するため、敵対的正則化付きオートエンコーダー (ARAE) を使用する。
• ターゲット分類器の予測損失を最大化するように、ノイズベクトル空間上で勾配ベースの探索を実行する。
• l₂ ノルム正則化を施した投影勾配降下法を用いて、分布外のノイズベクトルを防ぎ、自然さを維持する。
• トリガーを単一語のプロンプトではなく、完全なフレーズとして直接生成することで、意味的品質と検出抵抗性を向上させる。
• 攻撃は、悪意ある入力の先頭に連結する1つの入力に依存しないトリガーを適用する。
• 転送性の評価は、あるモデルでトリガーを生成し、他のモデル（LSTM や BERT）やデータセット（SST や IMDB）でテストすることで行う。

実験結果

リサーチクエスチョン

• RQ1 自然な言語と区別がつかないほど高効果な adversarial トリガーを生成できるか？
• RQ2 adversarial トリガーの自然さが、人間および自動検出にどのように影響するか？
• RQ3 攻撃が異なるモデルアーキテクチャーやデータセット間でどの程度転送可能か？
• RQ4 潜在空間上で勾配ベースの最適化が、高い品質と自然さを保ちつつ強力な攻撃性能を発揮するトリガーを生成できるか？

主な発見

• NUTS が生成したトリガーは、スタンフォードセンチメントツリーツリーク（SST）の負例において 19.96% のテスト精度を達成し、強力な攻撃効果を示した。
• 人間の評価者 77.78% が、良性入力に連結された状態でも、NUTS のトリガーがベースライン攻撃よりも自然であると評価した。
• NUTS の攻撃入力は 44.27% の人間被験者が自然に生成されたと判断したのに対し、ベースライン攻撃ではたった 22.84% にとどまった。
• LSTM から生成したトリガーを BERT モデルに転送した際、攻撃により 14–51% の精度低下を引き起こし、強力なアーキテクチャ間の転送性を示した。
• IMDB データセットでは、転送攻撃によりターゲット LSTM モデルで 18–34% の精度低下が発生し、データセット間の転送性を確認した。
• NUTS トリガーは、平均単語頻度、GPT-2 言語モデル損失、文法チェックエラー率の3つの自然さ指標において、すべてベースラインを上回った。