[論文レビュー] Discrete Attacks and Submodular Optimization with Applications to Text Classification.

Qi Lei, Lingfei Wu+4 more|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用数 16

ひとこと要約

この論文は、簡略化された仮定の下で攻撃目的関数の劣微分性を活用して、離散的集合上の劣微分最適化としてテキストの敵対的攻撃を定式化し、貪欲探索を用いて1−1/eの近似保証を達成する。分類器の勾配を探索をガイドするために統合し、文と単語の同時仮説的言い換えを採用することで、3つのテキスト分類タスクにおいてベースラインと比較してより高い攻撃成功確率と高い意味的整合性を達成する。

ABSTRACT

Adversarial examples are carefully constructed modifications to an input that completely change the output of a classifier but are imperceptible to humans. Despite these successful attacks for continuous data (such as image and audio samples), generating adversarial examples for discrete structures such as text has proven significantly more challenging. In this paper we formulate the attacks with discrete input on a set function as an optimization task. We prove that this set function is submodular for some popular neural network text classifiers under simplifying assumption. This finding guarantees a $1-1/e$ approximation factor for attacks that use the greedy algorithm. Meanwhile, we show how to use the gradient of the attacked classifier to guide the greedy search. Empirical studies with our proposed optimization scheme show significantly improved attack ability and efficiency, on three different text classification tasks over various baselines. We also use a joint sentence and word paraphrasing technique to maintain the original semantics and syntax of the text. This is validated by a human subject evaluation in subjective metrics on the quality and semantic coherence of our generated adversarial text.

研究の動機と目的

• 連続的データ（画像など）とは異なり、離散的テキスト入力に対する効果的な敵対的例の生成という課題に取り組むこと。
• 敵対的攻撃プロセスを集合関数としての劣微分最適化問題にモデル化し、理論的近似保証を確保すること。
• ターゲット分類器からの勾配情報を組み合わせた貪欲探索により、攻撃の効率性と成功率を向上させること。
• 文と単語の同時言い換え技術を用いて、摂動中でも元の意味的整合性と文法的質を維持すること。
• 意味的整合性と流暢さの観点から人間による評価を通じて、生成された敵対的例の質を検証すること。

提案手法

• 分類器出力の変化を表す集合関数として、離散的テキストに対する敵対的攻撃を集合上での最適化問題として定式化する。
• 代表的なニューラルテキスト分類器に対して、簡略化された仮定の下でその集合関数が劣微分であることを証明し、貪欲探索による1−1/eの近似保証を可能にする。
• 分類器の勾配を用いて、単語または文の変更の貪欲選択をガイドすることで、攻撃の効果を向上させる。
• 摂動中に元の意味的意味と文法的構造を維持するために、文と単語の同時言い換え技術を採用する。
• 二段階のプロセスを採用：第一に、貪欲最適化により摂動を特定；第二に、言い換えを適用して流れや整合性を維持。
• 攻撃成功率、効率、意味的質の観点から、3つの異なるテキスト分類タスクにわたってこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 離散的テキスト入力に対する敵対的攻撃を、理論的性能保証を得られる劣微分最適化問題として定式化できるか？
• RQ2 勾配誘導型貪欲探索を組み合わせることで、ベースライン手法と比較して攻撃成功率がどのように向上するか？
• RQ3 文と単語の同時言い換え技術は、敵対的例において意味的整合性と文法的構造をどの程度維持できるか？
• RQ4 提案手法の実験的攻撃成功率と効率は、多様なテキスト分類タスクにおいてどのように評価されるか？
• RQ5 人間評価者は、生成された敵対的テキストの質と意味的整合性をどの程度高く評価するか？

主な発見

• 提案手法は、3つのテキスト分類タスクにおいて、既存のベースラインと比較して顕著に高い攻撃成功率を達成する。
• 劣微分定式化により、攻撃性能に対する理論的1−1/e近似保証が得られ、強固な最適化基盤が提供される。
• 勾配誘導型貪欲探索は、非勾配ベースの貪欲アプローチよりも攻撃の効率性と効果性を向上させる。
• 人間評価の結果、生成された敵対的テキストは高い意味的整合性と流暢さを維持しており、品質の低下は最小限に抑えられる。
• 文と単語の同時言い換え技術により、摂動中でも元の意味と文法的構造が効果的に保持された。
• 実験的結果から、本手法は効率的かつ効果的であることが示され、NLPシステムにおける実用的敵対的テストに適している。