[論文レビュー] Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN

Hyeungill Lee, Sungyeob Han+1 more|arXiv (Cornell University)|May 9, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用数 87

ひとこと要約

論文は Generative Adversarial Trainer (GAT) を紹介する。これは GAN ベースのフレームワークで、 perturbation generator と classifier を交互に訓練して敵対的事例へのロバスト性を高め、監視学習の強力な正則化として機能する。

ABSTRACT

We propose a novel technique to make neural network robust to adversarial examples using a generative adversarial network. We alternately train both classifier and generator networks. The generator network generates an adversarial perturbation that can easily fool the classifier network by using a gradient of each image. Simultaneously, the classifier network is trained to classify correctly both original and adversarial images generated by the generator. These procedures help the classifier network to become more robust to adversarial perturbations. Furthermore, our adversarial training framework efficiently reduces overfitting and outperforms other regularization methods such as Dropout. We applied our method to supervised learning for CIFAR datasets, and experimantal results show that our method significantly lowers the generalization error of the network. To the best of our knowledge, this is the first method which uses GAN to improve supervised learning.

研究の動機と目的

• 敵対的事例に対する堅牢な分類を従来の方法を超えて動機づける。
• 分類器を欺く摂動を学習する生成器を備えた GAN ベースの敵対的訓練フレームワークを提案する。
• 標準的な敵対的訓練およびドロップアウトと比較して頑健性と正則化の改善を示す。
• GAT が CIFAR-10 および CIFAR-100 のデータセットで一般化誤差を減らすことを示す。

提案手法

• 分類器 F(x; θ_f) と摂動を出力する生成器 G(Δ; θ_g) を導入する。
• 生成器損失 L_G(Δ,y) = F(x + G(Δ))_y + c_g * ||G(Δ)||_2^2 を定義し、敵対的摂動を作成する。
• 分類器の敵対的目的 L_F = α J(θ_f, x, y) + (1−α) J(θ_f, x + G(Δ), y) を定義し、実験では α = 0.5。
• 交互訓練: まず F を正しく分類できるように、元画像と摂動画像の両方を正しく分類するように更新する一方で、G はだます能力を最大化しつつ摂動の強さを制御する。
• Adam 最適化子を用い、交互更新を行う（分類器ステップあたり生成器ステップ k = 1）。
• CIFAR-10/100 に対して、小さな All-CNN ライク分類器と摂動用に 6 層の G を適用する（バッチ正規化/ドロップアウトなし）。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースの摂動生成器は、与えられた摂動予算の下で高速勾配法よりも強力な adversarial 例を生成できるか。
• RQ2 生成器を用いた敵対的訓練は、従来の FG ベースの敵対的訓練およびドロップアウトを超えて分類器の頑健性と一般化を改善するか。
• RQ3 GAT フレームワークは異なるネットワークアーキテクチャやデータセット全体で正則化として適用可能か。
• RQ4 適応的でデータ依存的な摂動が訓練ダイナミクスと正則化効果に与える影響は何か。

主な発見

手法	テスト精度（％）
Baseline	77.48 ± 0.46
Dropout	78.49 ± 0.64
Random Perturbation	77.59 ± 0.57
Adv. training (FG, L_infty)	78.12 ± 0.59
Adv. training (FG, L2)	77.99 ± 0.45
Adv. training (GAT)	80.33 ± 0.44
Dropout + GAT	81.62 ± 0.34
Baseline	44.32 ± 0.63
Dropout	46.29 ± 0.61
Random Perturbation	44.43 ± 0.71
Adv. training (FG, L_infty)	45.16 ± 0.73
Adv. training (FG, L2)	45.67 ± 0.63
Adv. training (GAT)	50.44 ± 0.56
Dropout + GAT	50.71 ± 0.49

• GAT は低摂動パワーで FAST gradient 法より強力な敵対的摂動を生成できる。
• GAT を用いた敵対的訓練は CIFAR-10/100 でベースライン、Dropout、ランダム摂動、FG ベースの敵対的訓練より高いテスト精度を示す。
• GAT は顕著な正則化効果を提供し、CIFAR-10 をベースライン 77.48% から 80.33%、CIFAR-100 を 44.32% から 50.44% に改善。
• Dropout と GAT の組み合わせはさらに性能を向上させる（CIFAR-10 で 81.62%、CIFAR-100 で 50.71%）。
• GAT の頑健性は直接的・間接的な敵対的攻撃の両方に対して顕著で、さまざまな ε 設定下で FG ベース手法より優れている。