[論文レビュー] AdvGAN++ : Harnessing latent layers for adversary generation

Puneet Mangla, Surgan Jandial+2 more|Research Archive of Indian Institute of Technology Hyderabad (Indian Institute of Technology Hyderabad)|Aug 2, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用数 11

ひとこと要約

AdvGAN++ は、入力画像の代わりにターゲットモデルの潜在的特徴マップを事前分布として用いることで、より効果的で視覚的に現実的な攻撃を実現する。MNIST および CIFAR-10 において、防衛訓練が施された状況でも AdvGAN より高い攻撃成功率を達成すると同時に、エンコーダ・デコーダ生成器の必要性を排除することで、学習および推論のオーバーヘッドを低減する。

ABSTRACT

Adversarial examples are fabricated examples, indistinguishable from the original image that mislead neural networks and drastically lower their performance. Recently proposed AdvGAN, a GAN based approach, takes input image as a prior for generating adversaries to target a model. In this work, we show how latent features can serve as better priors than input images for adversary generation by proposing AdvGAN++, a version of AdvGAN that achieves higher attack rates than AdvGAN and at the same time generates perceptually realistic images on MNIST and CIFAR-10 datasets.

研究の動機と目的

• AdvGAN が入力画像を事前分布として依存しているという限界に対処する。これは、最も脆弱な表現を十分に活用していない可能性がある。
• 潜在的特徴（adversarial パーティクルに対してより感受性が高いと知られている）が、効果的な敵対的例の生成に適した事前分布として機能するかどうかを調査する。
• エンコーダ・デコーダ生成器アーキテクチャを、潜在的特徴から敵対的画像への直接マッピングに置き換えることで、学習および推論のオーバーヘッドを低減する。
• 防衛モデルおよび非防衛モデルの両方において、敵対的例の視覚的現実性と攻撃成功率を向上させる。

提案手法

• AdvGAN++ の生成器は、ターゲットモデル M の中間層からの潜在的特徴マップ f(x) と、ランダムなノイズベクトル z を入力とし、敵対的画像 x_adv = G(z|f(x)) を出力する。
• 生成器は GAN 損失、ターゲットモデル M を欺くための敵対的損失、および元の画像からの最小限の歪みを保証する L2 パーティクル損失により訓練される。
• 識別器は、本物の画像と生成された敵対的例を区別し、生成器が現実的に見える歪みを生成するよう促進する。
• 損失関数は、GAN 損失、敵対的損失 L_adv = E_x[M_t(G(z|f(x)))], および歪み損失 L_pert = E_x||x - G(z|f(x))||_2 をハイパーパramータ α と β で重み付けして組み合わせる。
• 特徴抽出は、ターゲットモデルの最後の畳み込み層を用いて実行され、生成器は確率的勾配降下法を用いてエンドツーエンドで訓練される。
• 本手法は AdvGAN のエンコーダ・デコーダ構造を回避し、アーキテクチャを単純化し、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの中間層から抽出された潜在的特徴は、敵対的例の生成に、生の入力画像よりも効果的な事前分布として機能できるか？
• RQ2 AdvGAN のエンコーダ・デコーダ生成器を、潜在的特徴からの直接生成器に置き換えることで、攻撃成功率と視覚的品質が向上するか？
• RQ3 AdvGAN++ は、特にブラックボックス攻撃の状況下でも、他のモデルへの高い転送性を維持できるか？
• RQ4 AdvGAN++ は、FGSM、反復的 FGSM、アンサンブル敵対的訓練などのさまざまな防衛訓練戦略に対して、どのように性能を発揮するか？

主な発見

• LeNet-C を用いた MNIST において、防衛なしの条件下で AdvGAN++ は 98.4% の攻撃成功率を達成した。これは AdvGAN の 97.9% よりも高い。
• Wide-ResNet-34-10 を用いた CIFAR-10 において、防衛なしの条件下で AdvGAN++ は 99.92% の攻撃成功率に達し、AdvGAN の 99.3% を上回った。
• FGSM 敵対的訓練の下で、MNIST における AdvGAN++ の攻撃成功率は 27.31% であった。これは AdvGAN の 13.5% よりも高い。
• CIFAR-10 で Wide-ResNet-34-10 を用い、反復的 FGSM 訓練の下で、AdvGAN++ は 43.2% の攻撃成功率を達成した。これは AdvGAN の 13.94% よりも顕著に優れていた。
• CIFAR-10 において、AdvGAN++ が生成した敵対的例は、ResNet-32 モデルへ 89.4% の成功率で転送され、強い転送性を示した。
• 視覚的結果から、AdvGAN++ は、高い歪み制約下でも、実画像と見分けがつかない敵対的例を生成することがわかった。