[論文レビュー] Rob-GAN: Generator, Discriminator, and Adversarial Attacker

Xuanqing Liu, Cho‐Jui Hsieh|arXiv (Cornell University)|Jul 27, 2018

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

Rob-GANは、生成器、識別器、敵対的攻撃者を同時に最適化する三者間の生成的対抗フレームワークを提案する。GANの学習収束性と分類器の耐性を向上させるために、敵対的攻撃をGAN学習に統合し、GANによって生成されたデータを敵対的訓練に活用する。その結果、収束が速くなり、画像生成品質が向上し、強力な$∞ll_{\infty}$PGD攻撃下でResNet18で36.4%の精度を達成。これは最先端の防御手法を上回る。

ABSTRACT

We study two important concepts in adversarial deep learning---adversarial training and generative adversarial network (GAN). Adversarial training is the technique used to improve the robustness of discriminator by combining adversarial attacker and discriminator in the training phase. GAN is commonly used for image generation by jointly optimizing discriminator and generator. We show these two concepts are indeed closely related and can be used to strengthen each other---adding a generator to the adversarial training procedure can improve the robustness of discriminators, and adding an adversarial attack to GAN training can improve the convergence speed and lead to better generators. Combining these two insights, we develop a framework called Rob-GAN to jointly optimize generator and discriminator in the presence of adversarial attacks---the generator generates fake images to fool discriminator; the adversarial attacker perturbs real images to fool the discriminator, and the discriminator wants to minimize loss under fake and adversarial images. Through this end-to-end training procedure, we are able to simultaneously improve the convergence speed of GAN training, the quality of synthetic images, and the robustness of discriminator under strong adversarial attacks. Experimental results demonstrate that the obtained classifier is more robust than the state-of-the-art adversarial training approach, and the generator outperforms SN-GAN on ImageNet-143.

研究の動機と目的

• 標準的なGAN学習の収束が遅く、不安定である問題を、識別器の学習目的に敵対的攻撃を統合することで解決すること。
• GAN生成データを活用してデータ拡張を行うことで、敵対的訓練された分類器の一般化性能と耐性を向上させること。
• 共有のエンドツーエンドフレームワークを通じて、敵対的訓練とGAN学習を相互に補完し合うプロセスとして統合すること。
• モード崩壊を軽減し、サンプル品質を向上させる条件付きGAN用の新しい損失関数を提案すること。
• GANと敵対的訓練を組み合わせることで、生成器の品質と識別器の耐性が向上することを実証的に検証すること。

提案手法

• 生成器が偽の画像を生成し、識別器が本物、偽物、敵対的画像を分類する三者間のミニマックスゲームを導入。敵対的攻撃者は本物の画像を摂動させ、識別器をだます。
• 生成器、識別器、敵対的攻撃者を交互に更新するエンドツーエンドの訓練手順を採用。識別器は本物、偽物、敵対的例のすべてで学習される。
• AC-GANの損失関数を見直し、本物と偽物の画像に対して分類損失を別々の項に分割することで、モード崩壊を軽減し、学習の安定性を向上。
• 識別器の学習中に$∞ll_{\infty}$ノルム制限付きの敵対的攻撃（例：PGD）を用いることで、摂動に対する耐性を強化。
• 敵対的訓練におけるデータ拡張として、GANによって生成されたサンプルを活用し、未学習データに対する分類器の一般化性能を向上。
• 識別器が自然画像、敵対的画像、生成画像の組み合わせで学習される共通の訓練パイプラインを採用。これにより、すべてのコンponentsの共同最適化が可能に。

実験結果

リサーチクエスチョン

• RQ1 生成器を敵対的訓練に統合することで、標準的な敵対的訓練を上回る識別器の耐性が向上するか？
• RQ2 敵対的攻撃者をGAN学習に統合することで、収束が早くなり、生成画像の品質が向上するか？
• RQ3 提案された損失関数の定式化は、条件付きGANにおけるモード崩壊とサンプル多様性にどのように影響するか？
• RQ4 生成器、識別器、攻撃者の共同学習は、GAN学習や敵対的訓練を個別に実施する場合と比較して、一般化性能と耐性にどの程度向上効果をもたらすか？
• RQ5 敵対的訓練におけるデータ拡張としてGAN生成データを活用することで、強力な攻撃下での分類器精度に測定可能な向上が見られるか？

主な発見

• Rob-GANは$∞ll_{\infty}$PGD攻撃下で、CIFAR10のResNet18に対して36.4%の精度を達成。これは、最先端の敵対的訓練手法[23]の29.6%を上回る。
• 敵対的攻撃を学習サイクルに統合したことで、GAN学習の収束速度が3～7倍速化された。
• 143クラスのImageNetサブセットでは、$δ_{\text{max}} = 0.01$の$∞ll_{\infty}$PGD攻撃下で32.4%の精度を達成。ベースラインの敵対的訓練手法を上回った。
• 新しい損失関数の定式化により、モード崩壊が顕著に軽減され、AC-GANに比べてよりシャープで多様性に富んだサンプルが生成された。定性的な比較で明確に示された。
• 64pxおよび128pxのImageNetサブセットにおいて、Rob-GANはSN-GANをインセプションスコアで上回り、25～50エポックでより優れた性能を達成した。
• 敵対的攻撃をGAN学習に統合することで、収束が速くなり、生成器の品質が向上。特に、新しい損失関数と敵対的訓練の両方を適用した場合に最良の結果が得られた。