[论文解读] Adversarial Defense of Image Classification Using a Variational Auto-Encoder

Yi Luo, Henry D. Pfister|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用 7

一句话总结

该论文提出了一种基于分块变分自编码器（VAE）的图像分类通用对抗防御方法，通过在分类前对输入进行重建来实现。利用VAE固有的随机性与解耦表征，该方法在中等到严重扰动下，对FGSM和I-FGSM攻击表现出鲁棒性，其性能达到或超过JPEG压缩（质量10）水平，且集成模型在不同攻击强度下均优于单模型。

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial attacks. This exposes them to potential exploits in security-sensitive applications and highlights their lack of robustness. This paper uses a variational auto-encoder (VAE) to defend against adversarial attacks for image classification tasks. This VAE defense has a few nice properties: (1) it is quite flexible and its use of randomness makes it harder to attack; (2) it can learn disentangled representations that prevent blurry reconstruction; and (3) a patch-wise VAE defense strategy is used that does not require retraining for different size images. For moderate to severe attacks, this system outperforms or closely matches the performance of JPEG compression, with the best quality parameter. It also has more flexibility and potential for improvement via training.

研究动机与目标

• 开发一种针对图像分类中对抗攻击的通用防御机制，无需针对不同攻击类型或模型架构进行微调。
• 利用VAE采样固有的随机性，提高攻击者不确定性，增强鲁棒性。
• 通过采用重叠分块与自适应步长的分块重建策略，实现在高分辨率图像上的高效防御。
• 通过平滑滤波器与可调超参数β，提升重建保真度并减少分块拼接带来的伪影。
• 在多种攻击强度下评估防御性能，并与JPEG压缩等成熟基线方法进行对比。

提出的方法

• 在从高分辨率图像（如299×299）中提取的图像分块上训练变分自编码器（VAE），以降低训练成本并提升可扩展性。
• 将输入图像划分为重叠分块（如16×16、32×32、64×64），每个分块由VAE独立重建，再通过重叠像素平均实现图像重组成。
• 引入分块重建步长作为可调超参数，以控制重叠程度与图像质量，平衡伪影减少与扰动保留。
• 在重建后应用5×5平滑滤波器，以减轻拼接分块间的边缘伪影；通过增加β值与延长训练时间，缓解滤波器引入的模糊问题。
• 将该防御作为目标分类器前的预处理步骤，无需修改原始网络结构，也无需针对特定攻击进行再训练。
• 采用多个VAE模型（如16×16、32×32、64×64）的集成，通过平均重建结果，提升在不同扰动幅度下的鲁棒性。

实验结果

研究问题

• RQ1 基于VAE的重建方法是否能在不修改目标分类器的前提下，有效防御多样化的对抗攻击？
• RQ2 采用可变分块大小与步长的分块重建策略，如何影响不同扰动幅度下的防御性能？
• RQ3 VAE采样固有的随机性相较于确定性防御，能在多大程度上提升模型鲁棒性？
• RQ4 与单模型防御相比，多VAE模型集成在小扰动与大扰动下的准确率恢复能力如何？
• RQ5 该VAE防御是否能在不同攻击强度下，实现或超越JPEG压缩（一种已知低成本防御）的鲁棒性？

主要发现

• 在FGSM攻击下，64×64分块VAE模型在平均相对L2差为0.167时，将分类准确率恢复至0.563，优于JPEG质量10（0.548），尤其在中等到严重攻击下表现更优。
• 对于小扰动（L2差为0.01），JPEG质量23达到0.86的准确率，优于所有VAE模型，但在大扰动下性能骤降至0.0401。
• 集成平均的VAE模型在小扰动下接近JPEG质量10的性能，同时在大攻击下保持更优的鲁棒性。
• 在I-FGSM攻击下（平均L2差为0.07），单个64×64 VAE模型将准确率从0.025提升至0.739，展现出强大的防御能力。
• 与单个VAE相比，集成模型在小扰动下提升了防御性能，但在大扰动下表现下降，表明在不同攻击尺度间存在鲁棒性权衡。
• 应用5×5平滑滤波器后，重建图像在良性与对抗性输入上的分类准确率均提升约10%，证实其在减少重建伪影方面的有效性。