[論文レビュー] PuVAE: A Variational Autoencoder to Purify Adversarial Examples

Uiwon Hwang, Jaewoo Park+3 more|arXiv (Cornell University)|Mar 2, 2019

Adversarial Robustness in Machine Learning参考文献 15被引用数 11

ひとこと要約

PuVAEは、変分推論を用いて敵対的例をクラス固有の多様体に射影することで、敵対的例を浄化する変分オートエンコーダーに基づく防御手法を提案する。130倍高速な推論速度を実現し、Defense-GANに比べて最先端の耐性性能を達成している。複数の攻撃とデータセットにおいて、 adversarial training や MagNet を上回り、時間制約下でも優れた性能を示す。

ABSTRACT

Deep neural networks are widely used and exhibit excellent performance in many areas. However, they are vulnerable to adversarial attacks that compromise the network at the inference time by applying elaborately designed perturbation to input data. Although several defense methods have been proposed to address specific attacks, other attack methods can circumvent these defense mechanisms. Therefore, we propose Purifying Variational Autoencoder (PuVAE), a method to purify adversarial examples. The proposed method eliminates an adversarial perturbation by projecting an adversarial example on the manifold of each class, and determines the closest projection as a purified sample. We experimentally illustrate the robustness of PuVAE against various attack methods without any prior knowledge. In our experiments, the proposed method exhibits performances competitive with state-of-the-art defense methods, and the inference time is approximately 130 times faster than that of Defense-GAN that is the state-of-the art purifier model.

研究の動機と目的

• 微小で人間が認識できない摂動を利用した攻撃に対して脆弱な深層ニューラルネットワークの問題を解決すること。
• 既存の防御手法の限界、例えば攻撃タイプに一般化できないことや、高い推論遅延を克服すること。
• 攻撃タイプの事前知識が不要な、高速でスケーラブルな浄化メカニズムの開発。
• 自律走行など安全が重要な応用分野におけるリアルタイムでのモデル導入を可能にすること。
• 最先端の手法と同等の防御性能を達成するとともに、推論時間を著しく短縮すること。

提案手法

• 各クラスのデータ多様体を学習するクラス条件付きVAEを訓練し、潜在変数からクリアなサンプルの再構成を可能にする。
• 各敵対的入力に対して、入力とその予測クラスに条件づけられた後方分布から潜在変数をサンプリングする。
• サンプリングされた潜在コードを用いて、VAEの再構成目的関数を最適化することで、敵対的例をクラス固有の多様体に射影する。
• 反復的最適化を回避するため、1回のフォワードパスでVAEデコーダーを通過させることで浄化されたサンプルを生成する。
• VAEの再パラメータ化トリックを用いて微分可能なサンプリングを実現し、浄化プロセスのエンドツーエンド訓練を可能にする。
• 分類器のパラメータを訓練中に固定することで、分類器の予測に過剰適合しないようにし、敵対的入力を正しく補正するように浄化器を学習させる。

実験結果

リサーチクエスチョン

• RQ1 VAEベースの浄化器は、攻撃タイプの事前知識がなくても、多様な敵対的攻撃に対して頑健な防御を達成できるか？
• RQ2 リアルタイムシナリオにおいて、VAEベースの浄化器の推論速度は、Defense-GANのような反復的GANベース手法に比べてどうなるか？
• RQ3 提案手法は、MNIST、Fashion-MNIST、CIFAR-10といった複数のデータセットと攻撃タイプにおいて、高い分類精度を維持できるか？
• RQ4 VAEベースの浄化手法は、異なるモデルアーキテクチャーや攻撃強度に対しても効果的に一般化できるか？
• RQ5 厳密な時間制約下で、PuVAEの1ステップ推論が、Defense-GANのような反復的手法をどの程度上回るか？

主な発見

• PuVAEは、MNIST、Fashion-MNIST、CIFAR-10において最先端の防御性能を達成し、MagNetを上回り、Defense-GANと同等の性能を全攻撃で示した。
• MNISTデータセットでは、iFGSM攻撃に対して92.33%、CW攻撃に対して90.80%の精度を達成し、1秒制限下でDefense-GAN（73.85%および72.79%）を上回った。
• PuVAEの推論時間は128サンプルバッチあたり0.114秒であり、同じバッチに対してDefense-GANの14.80秒と比べて134.55倍高速であった。
• 1秒の時間制限下で、FGSM攻撃では81.33%、iFGSMでは92.33%、CW攻撃では90.80%の精度を達成した。これは、それぞれDefense-GANの69.25%、73.85%、72.79%を顕著に上回った。
• PuVAEは、異なるモデルアーキテクチャーや攻撃タイプに対して頑健な一般化を示し、すべての設定で最高スコアを記録しなくても一貫した高い性能を維持した。
• 反復的最適化を必要としないため、自律走行や監視システムのようなリアルタイム応用に適している。