[论文解读] Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN

Desheng Wang, Weidong Jin+2 more|arXiv (Cornell University)|Mar 8, 2021

Adversarial Robustness in Machine Learning参考文献 60被引用 6

一句话总结

该论文提出ATGAN，一种新颖的生成对抗性防御方法，通过将对抗性训练（AT）整合到GAN训练中，以提升全局对抗性鲁棒性泛化性能。通过结合条件GAN与感知损失，并利用生成器进行数据增强，ATGAN消除了梯度混淆，且在$ L_\infty $-有界攻击下于MNIST、SVHN和CIFAR-10数据集上实现了最先进水平的鲁棒性。

ABSTRACT

Convolutional neural networks (CNNs) have achieved beyond human-level accuracy in the image classification task and are widely deployed in real-world environments. However, CNNs show vulnerability to adversarial perturbations that are well-designed noises aiming to mislead the classification models. In order to defend against the adversarial perturbations, adversarially trained GAN (ATGAN) is proposed to improve the adversarial robustness generalization of the state-of-the-art CNNs trained by adversarial training. ATGAN incorporates adversarial training into standard GAN training procedure to remove obfuscated gradients which can lead to a false sense in defending against the adversarial perturbations and are commonly observed in existing GANs-based adversarial defense methods. Moreover, ATGAN adopts the image-to-image generator as data augmentation to increase the sample complexity needed for adversarial robustness generalization in adversarial training. Experimental results in MNIST SVHN and CIFAR-10 datasets show that the proposed method doesn't rely on obfuscated gradients and achieves better global adversarial robustness generalization performance than the adversarially trained state-of-the-art CNNs.

研究动机与目标

• 为解决在较大扰动下，对抗性训练的CNN模型在复杂数据集上泛化性能差的问题。
• 消除基于GAN的对抗性防御方法中常见的梯度混淆问题，该问题可能造成虚假的安全感。
• 通过利用GAN作为高层数据增强手段，提升对抗性鲁棒性泛化所需的样本效率。
• 在多个基准测试中，实现优于最先进AT-based模型的全局对抗性鲁棒性泛化性能。

提出的方法

• 将最小-最大对抗性训练过程整合到标准GAN训练中，联合优化生成器与判别器以提升鲁棒性。
• 使用条件GAN（cGAN）和辅助分类器GAN（AC-GAN）以提升训练稳定性和类别特定生成能力。
• 应用感知损失以提升生成图像质量，确保其在语义和感知上与真实数据接近。
• 将生成器用作数据增强机制，以提升有效训练数据的多样性与复杂性。
• 在GAN优化过程中引入对抗样本，使判别器对$ L_\infty $-有界扰动具备鲁棒性。
• 将对抗性训练与GAN训练相结合，同步提升鲁棒性并避免梯度混淆。

实验结果

研究问题

• RQ1 将对抗性训练与GAN训练结合，是否能超越标准AT，在全局对抗性鲁棒性泛化方面取得更优表现？
• RQ2 所提出的ATGAN框架是否能消除基于GAN的防御方法中常见的梯度混淆问题？
• RQ3 基于GAN的数据增强如何影响对抗性训练模型的样本复杂度与鲁棒性泛化性能？
• RQ4 在训练过程中扰动幅度（$ \epsilon_t $）的选择如何影响ATGAN在不同数据集上的性能表现？
• RQ5 ATGAN在MNIST、SVHN和CIFAR-10上是否实现了优于最先进AT-based模型的鲁棒性泛化性能？

主要发现

• ATGAN在MNIST、SVHN和CIFAR-10上实现了优于最先进AT-based模型的全局对抗性鲁棒性泛化性能。
• 在MNIST上，ATGAN在$ \epsilon = 0.3 $时达到$ L_\infty $鲁棒准确率为0.981，优于基线模型。
• 在SVHN上，ATGAN在$ \epsilon = 0.4 $时达到0.680的鲁棒准确率，表明在较高$ \epsilon_t $下仍具备更强鲁棒性。
• 在CIFAR-10上，ATGAN在$ \epsilon = 0.031 $时达到0.588的鲁棒准确率，且在更高$ \epsilon_t $下性能下降，表明低$ \epsilon_t $使用更优。
• ATGAN的鲁棒性曲线表现出比基线模型更优的全局鲁棒性特征，表明其在不同扰动幅度下具备更佳泛化能力。
• ATGAN有效消除了梯度混淆，其在强且可迁移攻击下仍保持一致的鲁棒性，验证了该结论。