[論文レビュー] Customizing an Adversarial Example Generator with Class-Conditional GANs

Shih-Hong Tsai|arXiv (Cornell University)|Jun 27, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用数 4

ひとこと要約

本稿では、既存のクリーンデータに依存しない非摂動ベースの手法として、Adaptive GANを提案する。この手法は、クラス条件付きGANを用いて、元から生成されたネイティブな adversarial examples を作成する。攻撃成功率はMNISTで64.20%、CIFAR10で61.90%を達成し、摂動ベースの手法に比べて adversarial examples の多様性が拡張されることを示している。

ABSTRACT

Adversarial examples are intentionally crafted data with the purpose of deceiving neural networks into misclassification. When we talk about strategies to create such examples, we usually refer to perturbation-based methods that fabricate adversarial examples by applying invisible perturbations onto normal data. The resulting data reserve their visual appearance to human observers, yet can be totally unrecognizable to DNN models, which in turn leads to completely misleading predictions. In this paper, however, we consider crafting adversarial examples from existing data as a limitation to example diversity. We propose a non-perturbation-based framework that generates native adversarial examples from class-conditional generative adversarial networks.As such, the generated data will not resemble any existing data and thus expand example diversity, raising the difficulty in adversarial defense. We then extend this framework to pre-trained conditional GANs, in which we turn an existing generator into an "adversarial-example generator". We conduct experiments on our approach for MNIST and CIFAR10 datasets and have satisfactory results, showing that this approach can be a potential alternative to previous attack strategies.

研究の動機と目的

• 摂動ベースの手法に依存する既存のクリーンデータを変更することで生成される adversarial examples の多様性が限られている問題に対処する。
• adversarial examples が現実のデータに類似している必要があるという制約を克服し、完全に新しいネイティブな adversarial examples を生成する。
• 再訓練から始めずに事前学習済みの条件付きGANを適応的に変更して adversarial-example generator に変換するフレームワークを開発する。
• GANベースの生成が、従来の摂動ベースの攻撃と同等またはそれを上回る性能を示す効果的な adversarial examples を生成できることを示す。

提案手法

• 特定のターゲットクラスを条件として画像を生成するクラス条件付きGANを訓練し、実際の画像を摂動せずに直接 adversarial examples を生成する。
• ターゲット分類器による誤分類を促進するように、GANの生成器損失を変更し、効果的に生成器を adversarial-example generator に変換する。
• 事前学習済みの条件付きGAN（例：ACGANやDCGAN）に対して、最小限のトレーニングオーバーヘッドで適応的再訓練を実施し、生成器を adversarial generation に最適化する。
• バッチ正規化、leaky ReLU、ラベルスムージング、ミニバッチ識別などの技術を統合し、GANのトレーニング安定性と画像品質を向上させる。
• 訓練済みの生成器を用いて、ターゲット攻撃用の adversarial examples を生成する。この際、モデルが生成画像をターゲットクラスとして誤分類するように最適化される。
• PGD や FGSM といった標準ベンチマークを用いて、MNIST および CIFAR10 における攻撃成功率を評価し、摂動ベースのベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 摂動ベースの手法とは異なり、既存データを摂動しないで、条件付きGANのような生成モデルを効果的にネイティブな adversarial examples の生成に再利用できるか？
• RQ2 提案された Adaptive GAN フレームワークは、摂動ベースの手法の制限を超えて、adversarial example のサブスペースを拡張できるか？
• RQ3 MNIST や CIFAR10 といった標準データセットにおいて、Adaptive GAN は最先端の摂動ベースの攻撃と比較して、高い攻撃成功率を達成できるか？
• RQ4 事前学習済みの条件付きGANを、最小限の再トレーニングで adversarial-example generator に適応できる程度の柔軟性があるか？
• RQ5 GANで生成された adversarial examples と摂動ベースの手法によるものとの間で、画像品質と知覚的リアリズムのトレードオフはどの程度か？

主な発見

• Adaptive GAN は MNIST データセットで 64.20% の攻撃成功率を達成し、FGSM や PGD を含むすべてのテストされた摂動ベースの手法を上回った。
• CIFAR10 のロバストネスチャレンジにおいて、Adaptive GAN は 61.90% の攻撃成功率を達成し、20ステップPGD や FGSM を含むすべてのベースライン摂動ベース手法を上回った。
• わずか2エポックの適応的再トレーニングで、事前学習済みの条件付きGANを効果的に adversarial-example generator に変換でき、トレーニング時間の大幅な削減が達成された。
• 摂動ベースの手法に比べて知覚的品質が低いものの、生成された adversarial examples は依然として有効であり、本手法の実用的妥当性を示している。
• Adaptive GAN の攻撃成功率は摂動サイズに制限されない。これは、完全に新しい画像を生成するためであり、ロバストな分類器に対しても高い性能を示せる要因であると考えられる。
• フレームワークは、GANベースの生成が、現実のデータとは構造的に異なる adversarial examples を生成できることを示しており、adversarial example のサブスペースを拡張できることを裏付けている。