[论文解读] Defense-VAE: A Fast and Accurate Defense against Adversarial Attacks

Xiang Li, Shihao Ji|arXiv (Cornell University)|Dec 17, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用 5

一句话总结

Defense-VAE 是一种快速且准确的对抗性攻击防御方法，利用变分自编码器（VAE）通过单次前向传播去除扰动，从对抗性输入中重建干净图像。其在黑盒攻击下的防御准确率比 Defense-GAN 高出30%，且速度快50倍，适用于安全敏感系统中的实时部署。

ABSTRACT

Deep neural networks (DNNs) have been enormously successful across a variety of prediction tasks. However, recent research shows that DNNs are particularly vulnerable to adversarial attacks, which poses a serious threat to their applications in security-sensitive systems. In this paper, we propose a simple yet effective defense algorithm Defense-VAE that uses variational autoencoder (VAE) to purge adversarial perturbations from contaminated images. The proposed method is generic and can defend white-box and black-box attacks without the need of retraining the original CNN classifiers, and can further strengthen the defense by retraining CNN or end-to-end finetuning the whole pipeline. In addition, the proposed method is very efficient compared to the optimization-based alternatives, such as Defense-GAN, since no iterative optimization is needed for online prediction. Extensive experiments on MNIST, Fashion-MNIST, CelebA and CIFAR-10 demonstrate the superior defense accuracy of Defense-VAE compared to Defense-GAN, while being 50x faster than the latter. This makes Defense-VAE widely deployable in real-time security-sensitive systems. Our source code can be found at https://github.com/lxuniverse/defense-vae.

研究动机与目标

• 解决深度神经网络（DNNs）对微小、难以察觉的扰动敏感所带来的关键安全漏洞。
• 开发一种兼具高准确率与计算高效性的防御机制，适用于安全关键应用中的实时部署。
• 构建一种通用防御方法，无需重新训练原始分类器，即可有效应对白盒和黑盒攻击。
• 在现有基于优化的防御方法（如 Defense-GAN）基础上进行改进，通过消除迭代在线推理过程，降低延迟。

提出的方法

• Defense-VAE 使用预训练的变分自编码器（VAE）通过将输入编码到潜在空间并解码回图像，实现对抗性图像的重建。
• VAE 编码器将对抗性输入映射为潜在向量 z，解码器通过从学习到的先验分布中采样，重建出干净图像。
• 该方法利用重参数化技巧实现可微分采样，支持整个流程的端到端训练与微调。
• Defense-VAE 可独立使用，也可通过微调分类器或端到端微调完整防御流水线进行增强。
• 该防御机制仅需一次前向传播，避免了 Defense-GAN 等方法所需的迭代优化。
• 该方法具有通用性，在推理阶段无需访问原始分类器的梯度或架构信息。

实验结果

研究问题

• RQ1 基于 VAE 的重建方法是否能在推理阶段无需迭代优化的情况下，有效去除图像中的对抗性扰动？
• RQ2 在白盒和黑盒攻击下，Defense-VAE 与 Defense-GAN 和 MagNet 等先进方法相比，防御准确率如何？
• RQ3 端到端微调或分类器重训在多大程度上能提升 Defense-VAE 流水线的鲁棒性？
• RQ4 在不同超参数下，Defense-VAE 的推理速度与基于优化的防御方法（如 Defense-GAN）相比如何？
• RQ5 为何 Defense-VAE 在黑盒设置下相比 Defense-GAN 显著提升了重建质量和准确率？

主要发现

• 在 Fashion-MNIST 上的黑盒 FGSM 攻击中，Defense-VAE 的防御准确率比 Defense-GAN 高出约 30%。
• 在 MNIST 和 Fashion-MNIST 上，Defense-VAE 在所有攻击类型下均优于 Defense-GAN、MagNet 和对抗性训练。
• 对 Defense-VAE 流水线进行端到端微调可获得最高防御准确率，优于标准 Defense-VAE 和微调分类器基线。
• 在默认配置（L=200, R=10）下，Defense-VAE 的速度约为 Defense-GAN 的 50 倍，1000 张图像的重建耗时为 9.03 秒。
• Defense-VAE 的速度不受超参数影响，而 Defense-GAN 的运行时间随迭代次数和重启次数线性增长。
• 视觉分析表明，即使在 ε=0.1 的强 FGSM 攻击下，Defense-VAE 仍能生成高质量重建图像，并有效保留正确的类别信息。