[論文レビュー] Generating Natural Adversarial Examples

Zhengli Zhao, Dheeru Dua+1 more|arXiv (Cornell University)|Oct 31, 2017

Adversarial Robustness in Machine Learning参考文献 26被引用数 364

ひとこと要約

本論文は、GAN潜在空間を探索することにより自然で読みやすい敵対的サンプルを生成する枠組みを提案し、画像およびテキスト領域におけるブラックボックス分類器の評価と解釈を可能にする。

ABSTRACT

Due to their complex nature, it is hard to characterize the ways in which machine learning models can misbehave or be exploited when deployed. Recent work on adversarial examples, i.e. inputs with minor perturbations that result in substantially different model predictions, is helpful in evaluating the robustness of these models by exposing the adversarial scenarios where they fail. However, these malicious perturbations are often unnatural, not semantically meaningful, and not applicable to complicated domains such as language. In this paper, we propose a framework to generate natural and legible adversarial examples that lie on the data manifold, by searching in semantic space of dense and continuous data representation, utilizing the recent advances in generative adversarial networks. We present generated adversaries to demonstrate the potential of the proposed approach for black-box classifiers for a wide range of applications such as image classification, textual entailment, and machine translation. We include experiments to show that the generated adversaries are natural, legible to humans, and useful in evaluating and analyzing black-box classifiers.

研究の動機と目的

• 自然で意味的に意味のある敵対例を用いることで、ブラックボックス分類器の堅牢な評価を促す。
• データ多様体上に位置し、読みやすい敵対例を生み出す潜在空間探索法を提案する。
• このアプローチを画像領域とテキスト領域の両方に適用し、モデルの局所的な意思決定挙動を明らかにする。
• 自然な敵対例が頑健性分析に有用であることを示す定量的および人間評価を提供する。

提案手法

• データを潜在 z 空間へ、そして x 空間へ戻すインバーターを備えたWasserstein GAN (WGAN) を訓練する。
• 反転した潜在 z′ を摺動させて摂動を学習し、生成器でデコードして x̃ を得る潜在空間摂動手法を学習する。
• f(Gθ(z̃)) ≠ f(x) を満たす制約の下で z′ へ距離を最小化する z* を用いて x* = Gθ(z*) と定義する。
• 再構成誤差と z と Iγ(Gθ(z)) との間の発散を組み合わせた損失 L を用いて、正規分布の潜在表現を強制する。
• ブラックボックスに優しいことを保証し、敵対例を保証する2つの探索アルゴリズム（反復的確率的探索とハイブリッド縮小探索）を実装する。
• 勾配情報なしで効率を向上させるために粗→細の探索戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 入力空間ではなく、学習済み潜在表現で操作することにより、ブラックボックス分類器に対して自然な敵対例を生成できるか。
• RQ2 自然な敵対例は、画像とテキストの領域でモデルを騙しつつ文法的/意味的妥当性を保つか。
• RQ3 潜在空間摂動で測られる分類器の堅牢性は、タスク間の従来の精度と相関するか。
• RQ4 生成された敵対例は、視覚認識、テキスト含意、機械翻訳におけるモデルの意思決定の解釈にどのように役立つか。

主な発見

• 生成された敵対例は、画像とテキストの両方で自然に見え、読みやすく、分類器の意思決定に意味のある洞察を提供する。
• より正確な分類器は、予測を変えるにはより大きな潜在空間の摂動（Δz）を必要とする傾向があり、頑健性の違いを示している。
• この枠組みはブラックボックスモデル（Random Forests のような非微分可能なものを含む）に対しても機能し、MNIST、LSUN、テキスト含意、翻訳タスクに跨って動作する。
• 人間の評価は、敵対例の自然さと元の入力との類似性を確認し、解釈可能性を支持する。
• ハイブリッド縮小探索は、敵対例を見つける効果を維持しつつ、実質的なスピードアップを達成する。