[論文レビュー] Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN

Desheng Wang, Weidong Jin+2 more|arXiv (Cornell University)|Mar 8, 2021

Adversarial Robustness in Machine Learning参考文献 60被引用数 6

ひとこと要約

本論文は、生成対抗的訓練（AT）をGAN学習に統合することで、グローバルな対抗的ロバストネス一般化を向上させる、新しいGANベースの対抗的防御手法ATGANを提案する。条件付きGANと知覚損失を組み合わせ、生成器をデータ拡張に用いることで、誤った勾配を解消し、$L_\infty$-有界攻撃下でMNIST、SVHN、CIFAR-10で最先端のロバストネスを達成する。

ABSTRACT

Convolutional neural networks (CNNs) have achieved beyond human-level accuracy in the image classification task and are widely deployed in real-world environments. However, CNNs show vulnerability to adversarial perturbations that are well-designed noises aiming to mislead the classification models. In order to defend against the adversarial perturbations, adversarially trained GAN (ATGAN) is proposed to improve the adversarial robustness generalization of the state-of-the-art CNNs trained by adversarial training. ATGAN incorporates adversarial training into standard GAN training procedure to remove obfuscated gradients which can lead to a false sense in defending against the adversarial perturbations and are commonly observed in existing GANs-based adversarial defense methods. Moreover, ATGAN adopts the image-to-image generator as data augmentation to increase the sample complexity needed for adversarial robustness generalization in adversarial training. Experimental results in MNIST SVHN and CIFAR-10 datasets show that the proposed method doesn't rely on obfuscated gradients and achieves better global adversarial robustness generalization performance than the adversarially trained state-of-the-art CNNs.

研究の動機と目的

• より大きな摂動下での、特に複雑なデータセットにおける、対抗的訓練を施したCNNの一般化性能の低さを是正すること。
• GANベースの対抗的防御手法に見られる誤った勾配を解消し、誤った安心感を生じさせないこと。
• GANを高レベルのデータ拡張として活用することで、対抗的ロバストネス一般化のサンプル複雑度を改善すること。
• 複数のベンチマークで、最先端のATベースのモデルを上回るグローバルな対抗的ロバストネス一般化を達成すること。

提案手法

• 標準的なGAN学習にmin-max対抗的訓練手順を統合し、生成器と識別器の両方をロバストネス向上に向けて同時に最適化する。
• 訓練の安定性とクラス固有の生成を向上させるために、条件付きGAN（cGAN）と補助分類器GAN（AC-GAN）を用いる。
• 生成画像の質を向上させるために知覚損失を適用し、実データと意味的・知覚的に類似した画像を保証する。
• 生成器をデータ拡張メカニズムとして活用し、有効な訓練データの多様性と複雑度を向上させる。
• GAN最適化中に対抗的例を組み込むことで、識別器が$L_\infty$-有界摂動に対してロバストになるように訓練する。
• 対抗的訓練とGAN学習を統合し、同時にロバストネス向上と勾配の誤った遮断を回避する。

実験結果

リサーチクエスチョン

• RQ1 対抗的訓練とGAN学習を組み合わせることで、標準的なATを上回るグローバルな対抗的ロバストネス一般化が達成可能か？
• RQ2 提案されたATGANフレームワークは、GANベースの防御手法に一般的に見られる誤った勾配を解消するか？
• RQ3 GANベースのデータ拡張の使用が、対抗的訓練を施したモデルのサンプル複雑度とロバストネス一般化に与える影響は何か？
• RQ4 訓練時の摂動大きさ（$\epsilon_t$）の選択が、ATGANの複数のデータセットにおける性能に与える影響は何か？
• RQ5 MNIST、SVHN、CIFAR-10において、ATGANは最先端のATベースのモデルを上回るロバストネス一般化を達成するか？

主な発見

• ATGANは、MNIST、SVHN、CIFAR-10において、最先端のATベースのモデルを上回る優れたグローバルな対抗的ロバストネス一般化を達成する。
• MNISTでは、$\epsilon = 0.3$で$L_\infty$ロバスト精度が0.981に達し、ベースラインモデルを上回る。
• SVHNでは、$\epsilon = 0.4$でロバスト精度が0.680に達し、$\epsilon_t$が高くなるほどロバストネスが向上していることが示された。
• CIFAR-10では、$\epsilon = 0.031$でロバスト精度が0.588に達し、$\epsilon_t$が高くなると性能が低下する傾向を示しており、低$\epsilon_t$の使用が最適であることが示された。
• ATGANのロバストネス曲線は、ベースラインモデルと比較してより好ましいグローバルロバストネスプロファイルを示しており、摂動の大きさにわたる一般化性能が優れている。
• ATGANは誤った勾配を効果的に解消しており、強力で転送可能な攻撃に対しても一貫したロバストネスが確認された。