[論文レビュー] DANCin SEQ2SEQ: Fooling Text Classifiers with Adversarial Text Example Generation

Catherine Wong|arXiv (Cornell University)|Dec 14, 2017

Adversarial Robustness in Machine Learning参考文献 5被引用数 20

ひとこと要約

DANCin SEQ2SEQ は、モデルのパrameterにアクセスできない黙秘型テキスト分類器をだますために、GANにインspiredされた強化学習ベースの手法を提案する。この手法は、意味的に意味のある敵対的テキスト例を生成し、分類器の誤分類確率を高める一方で、意味的類似性を維持する。実世界の攻撃シナリオ、たとえばスパムフィルタリングにおいて実用性を示している。

ABSTRACT

Machine learning models are powerful but fallible. Generating adversarial examples - inputs deliberately crafted to cause model misclassification or other errors - can yield important insight into model assumptions and vulnerabilities. Despite significant recent work on adversarial example generation targeting image classifiers, relatively little work exists exploring adversarial example generation for text classifiers; additionally, many existing adversarial example generation algorithms require full access to target model parameters, rendering them impractical for many real-world attacks. In this work, we introduce DANCin SEQ2SEQ, a GAN-inspired algorithm for adversarial text example generation targeting largely black-box text classifiers. We recast adversarial text example generation as a reinforcement learning problem, and demonstrate that our algorithm offers preliminary but promising steps towards generating semantically meaningful adversarial text examples in a real-world attack scenario.

研究の動機と目的

• モデルパラメータが不明な黙秘型設定においても、効果的な敵対的テキスト例生成手法の不足に応えること。
• 元の入力と意味的に類似性を保ちつつ、誤分類確率を高める実用的な敵対的テキスト例生成手法を開発すること。
• 強化学習と GAN フレームワークが、離散的かつ逐次的なテキストデータに適応可能かどうかを検討すること。
• 敵対的テキスト例を生成することで、テキスト分類器の背後にある仮定を明らかにする洞察を提供すること。
• Enron データセットを用いて、スパム対ハムメールフィルタリングという実世界の二値テキスト分類タスクにおいて、この手法を評価すること。

提案手法

• REINFORCE ポリシー勾配法を用いて、敵対的テキスト例生成を強化学習問題として再定式化する。
• 生成器が摂動を加えたテキスト系列を生成し、ターゲット分類器からの報酬信号を用いることで、GAN スタイルのトレーニングを離散的テキスト生成に適応する。
• 意味的類似性の低下をペナルティとし、ターゲットモデルによる誤分類確率の上昇を報酬とする報酬関数を採用する。
• ターゲット分類器の出力確率に基づく、識別器に類似たフィードバックメカニズムを生成器の指針として用いる。
• トレーニング中の探索性を高め、モード崩壊を回避するために、低信頼度の例で生成器を事前学習する。
• 繰り返し出現するトークンに対するペナルティと、段階的報酬（REGS）定式化を用いてトレーニングの安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータにアクセスできない黙秘型設定でも、敵対的テキスト例を効果的に生成できるか？
• RQ2 強化学習と GAN にインspiredされたトレーニングは、離散的テキスト系列において意味的に意味のある敵対的摂動を生成するために適応可能か？
• RQ3 生成された敵対的テキスト例は、元の入力との意味的類似性を保ちつつ、どれほどターゲットテキスト分類器の誤分類確率を高められるか？
• RQ4 この手法で生成された敵対的テキスト例を分析することで、分類器の基本的仮定に関する何らかの洞察が得られるか？
• RQ5 このような GAN フレームワークがテキストドメインで安定的かつ効果的に動作するか？

主な発見

• 生成器は、誤分類確率を高めるためにスパムに強く関連するトークンを意味的に類似した代替語に置き換える能力を学習する。
• トレーニングの不安定性やモード崩壊が存在するが、多くの場合、人間が認識する意味的類似性を保持した敵対的テキスト例を生成する。
• 低信頼度の例での事前学習により、探索性が向上し、より複雑で意味のあるトークン置換を発見できるようになる。
• 意味的類似性を保っていない敵対的テキスト例ですら、たとえばナイーブベイズ分類器が bag-of-words 特徴に依存しているなど、ターゲットモデルの根本的仮定を明らかにする。
• この手法は、実世界の黙秘型攻撃に対して実用的であることを示しており、モデルの脆弱性を調査するための実用的フレームワークを提供する。
• 初期の結果から、ポリシー勾配法を用いた GAN スタイルのトレーニングが、敵対的テキスト例生成の有効な道筋である可能性があるが、安定性の課題は依然として残っている。