[論文レビュー] Generative Adversarial Examples.

Yang Song, Rui Shu+2 more|arXiv (Cornell University)|May 21, 2018

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

この論文は、生成的敵対的例（Generative Adversarial Examples）を紹介する。これは、条件付き生成モデル（AC-GAN）を用いて完全に合成された画像であり、実際の入力にわずかな変更を加えるのではなく、元から生成されたものであり、望ましいクラスに属しているにもかかわらず、ターゲット分類器によって誤分類される。この手法は、敵対的訓練や認証防御を含む強力な防御を回避し、堅牢性評価のための新たな、より巧妙な脅威モデルを示している。

ABSTRACT

Adversarial examples are typically constructed by perturbing an existing data point, and current defense methods are focused on guarding against this type of attack. In this paper, we propose a new class of adversarial examples that are synthesized entirely from scratch using a conditional generative model. We first train an Auxiliary Classifier Generative Adversarial Network (AC-GAN) to model the class-conditional distribution over inputs. Then, conditioned on a desired class, we search over the AC-GAN latent space to find images that are likely under the generative model and are misclassified by a target classifier. We demonstrate through human evaluation that this new kind of adversarial inputs, which we call Generative Adversarial Examples, are legitimate and belong to the desired class. Our empirical results on the MNIST, SVHN, and CelebA datasets show that generative adversarial examples can easily bypass strong adversarial training and certified defense methods which can foil existing adversarial attacks.

研究の動機と目的

• 既存の敵対的例の限界に対処すること。これらは実際の入力に摂動を加えるにすぎず、そのような摂動を検出または緩和する防御に対して脆弱である。
• 敵対的例が生成モデルを用いて完全に合成可能かどうかを検討すること。これにより、入力の摂動に基づく検出メカニズムを回避できる。
• 実データポイントから派生しない新しい種類の敵対的例に対して、最先端の防御手法の堅牢性を評価すること。
• これらの生成的敵対的例が視覚的に妥当であり、人間がそのターゲットクラスの正当な例と認識できることを示すこと。これにより、現実的な脅威であることが裏付けられる。

提案手法

• MNIST、SVHN、CelebAデータセットの各クラスの条件付き分布をモデル化するため、補助分類器付き生成対抗ネットワーク（AC-GAN）を訓練する。
• AC-GANをターゲットクラスラベルで条件付け、潜在空間内で探索を行い、生成器における尤度を最大化すると同時に、実データ分布における尤度を最小化する画像を生成する。
• ターゲット分類器を用いて、生成された画像が、ターゲットクラスに属しているにもかかわらず、他のクラスに誤分類されるかどうかを評価する。
• 勾配ベースの探索を用いて潜在空間最適化を実行し、尤度が高く、誤分類される画像を生成する潜在ベクトルを特定する。
• 人間による評価を通じて生成例の正当性を検証し、それらがターゲットクラスの正当な例として認識されることを確認する。
• 生成された例を、敵対的訓練や認証防御を含む強力な防御に対してテストし、回避能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 実データの画像を摂動せずに、完全に潜在空間から敵対的例を生成可能であり、かつ堅牢な分類器に対しても効果を示すのか？
• RQ2 生成的敵対的例は視覚的に妥当であり、人間の観察者によってそのターゲットクラスの本物の例と認識されるのか？
• RQ3 これらの合成例は、摂動ベースの攻撃に対して効果的な最新の防御、例えば敵対的訓練や認証防御を回避できるのか？
• RQ4 従来の敵対的例と比較して、生成的敵対的例の攻撃成功確率や防御機構に対する耐性はどのように異なるのか？

主な発見

• 生成的敵対的例は、MNIST、SVHN、CelebAで強力な敵対的訓練防御を効果的に回避し、入力の摂動に依存せずに高い攻撃成功確率を達成した。
• 認証防御機構をも回避した。これは、摂動ベースの攻撃に対して堅牢性を保証することを目的としたものであるが、現行の防御設計に根本的な限界があることを示している。
• 人間による評価により、生成例がターゲットクラスの正当な例として認識されることを確認した。これは、その現実性と巧妙さを裏付けている。
• 攻撃成功確率が、標準的な敵対的例に対して耐性を持つターゲット分類器に対しても高いままである。これは、その有効性を示している。
• 敵対的入力が摂動ではなく、データ多様体からの合成的で尤度の高いサンプルであるという、新たな脅威モデルを明らかにした。これは、既存の防御仮定に挑戦するものである。