[論文レビュー] Defense-VAE: A Fast and Accurate Defense against Adversarial Attacks

Xiang Li, Shihao Ji|arXiv (Cornell University)|Dec 17, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用数 5

ひとこと要約

Defense-VAE は、1回のフォワードパスで摂動を除去することで、敵対的攻撃に対して高速かつ高精度な防御を実現する。変分オートエンコーダー（VAE）を用いて敵対的入力を元の綺麗な画像に再構築する。ブラックボックス攻撃において Defense-GAN よりも 30% 高い防御精度を達成し、50倍高速であるため、セキュリティが重要なシステムにおけるリアルタイムデプロイが可能である。

ABSTRACT

Deep neural networks (DNNs) have been enormously successful across a variety of prediction tasks. However, recent research shows that DNNs are particularly vulnerable to adversarial attacks, which poses a serious threat to their applications in security-sensitive systems. In this paper, we propose a simple yet effective defense algorithm Defense-VAE that uses variational autoencoder (VAE) to purge adversarial perturbations from contaminated images. The proposed method is generic and can defend white-box and black-box attacks without the need of retraining the original CNN classifiers, and can further strengthen the defense by retraining CNN or end-to-end finetuning the whole pipeline. In addition, the proposed method is very efficient compared to the optimization-based alternatives, such as Defense-GAN, since no iterative optimization is needed for online prediction. Extensive experiments on MNIST, Fashion-MNIST, CelebA and CIFAR-10 demonstrate the superior defense accuracy of Defense-VAE compared to Defense-GAN, while being 50x faster than the latter. This makes Defense-VAE widely deployable in real-time security-sensitive systems. Our source code can be found at https://github.com/lxuniverse/defense-vae.

研究の動機と目的

• 微小で人間が認識できない摂動を利用した敵対的攻撃によって深刻な脆弱性を示す深層ニューラルネットワーク（DNN）の問題を解決すること。
• リアルタイムでのデプロイに適した、高精度かつ計算効率の良い防御メカニズムを開発すること。
• 元の分類器の再訓練を必要とせず、ホワイトボックスおよびブラックボックス攻撃の両方に対して効果を発揮する汎用的防御を構築すること。
• 反復的オンライン推論を必要とする Defense-GAN よりも優れた最適化ベースの防御を改善し、レイテンシを低減すること。

提案手法

• Defense-VAE は、事前に学習済みの変分オートエンコーダー（VAE）を用いて、敵対的画像の再構築を実現する。入力を潜在空間にエンコードし、再びデコードすることでノイズ除去された画像を再構築する。
• VAE のエンコーダーは敵対的入力を潜在ベクトル z にマップし、デコーダーは学習済みの事前分布からのサンプリングによって綺麗な画像を再構築する。
• 再パラメータライゼーションテクニックを活用することで、サンプリングの微分可能性を確保し、パイプライン全体のエンドツーエンド学習およびファインチューニングを可能にする。
• Defense-VAE は単体で使用可能であり、分類器の再訓練や、完全な防御パイプラインのエンドツーエンドファインチューニングによって強化可能である。
• この防御は 1 回のフォワードパスで動作し、Defense-GAN らのような反復的最適化を必要としない。
• アプローチは汎用的であり、推論時に元の分類器の勾配やアーキテクチャにアクセスする必要がない。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化を推論時に必要とせずに、VAE ベースの再構築手法が画像からの敵対的摂動を効果的に除去できるか。
• RQ2 ホワイトボックスおよびブラックボックス攻撃の両方において、Defense-GAN や MagNet ような最先端手法と比較して、Defense-VAE の防御精度はどの程度か。
• RQ3 エンドツーエンドファインチューニングや分類器の再訓練が、Defense-VAE パイプラインの耐性をどの程度向上できるか。
• RQ4 ハイパーパrameter の変更に応じて、Defense-VAE の推論速度は Defense-GAN らような最適化ベースの防御と比較してどの程度か。
• RQ5 なぜ Defense-VAE はブラックボックス設定において、Defense-GAN よりも著しく優れた再構築品質と精度を達成するのか。

主な発見

• Fashion-MNIST に対するブラックボックス FGSM 攻撃において、Defense-VAE は Defense-GAN よりも約 30% 高い防御精度を達成した。
• MNIST および Fashion-MNIST において、Defense-VAE はすべての攻撃タイプにおいて、Defense-GAN や MagNet、敵対的訓練を上回る防御精度を達成した。
• Defense-VAE パイプラインのエンドツーエンドファインチューニングが、標準的な Defense-VAE や再訓練済み分類器ベースラインを上回る最高の防御精度を達成した。
• デフォルト設定（L=200, R=10）において、Defense-VAE は Defense-GAN よりも約 50 倍高速であり、1000 枚の画像の再構築に 9.03 秒を要した。
• Defense-VAE の速度はハイパーパrameter に依存せず一定であるのに対し、Defense-GAN の実行時間は反復回数およびリスタート回数に比例して増加する。
• 可視化分析の結果、ε=0.1 の強い FGSM 攻撃に対しても、Defense-VAE は正確な分類情報を保持した高品質な再構築を生成した。