[论文解读] Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN

Ke Sun, Zhanxing Zhu+1 more|arXiv (Cornell University)|Feb 28, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用 17

一句话总结

本文提出边界条件生成对抗网络（Boundary Conditional GAN），一种新颖的防御机制，通过使用改进的条件生成对抗网络（Conditional GAN），在预训练分类器的决策边界附近生成合成的边界样本，从而增强深度神经网络的鲁棒性。通过最小化预测分布与均匀分布之间的KL散度，该方法生成多样化、高质量的边界样本，用于数据增强，在MNIST、Fashion-MNIST和CIFAR10上显著提升了对各类对抗攻击的鲁棒性，且不依赖于特定攻击类型。

ABSTRACT

Deep neural networks have been widely deployed in various machine learning tasks. However, recent works have demonstrated that they are vulnerable to adversarial examples: carefully crafted small perturbations to cause misclassification by the network. In this work, we propose a novel defense mechanism called Boundary Conditional GAN to enhance the robustness of deep neural networks against adversarial examples. Boundary Conditional GAN, a modified version of Conditional GAN, can generate boundary samples with true labels near the decision boundary of a pre-trained classifier. These boundary samples are fed to the pre-trained classifier as data augmentation to make the decision boundary more robust. We empirically show that the model improved by our approach consistently defenses against various types of adversarial attacks successfully. Further quantitative investigations about the improvement of robustness and visualization of decision boundaries are also provided to justify the effectiveness of our strategy. This new defense mechanism that uses boundary samples to enhance the robustness of networks opens up a new way to defense adversarial attacks consistently.

研究动机与目标

• 为解决深度神经网络对对抗样本的脆弱性问题，该问题在安全关键应用中构成严重威胁。
• 开发一种对广泛对抗攻击（包括白盒和黑盒攻击）均具有鲁棒性的防御机制。
• 在不依赖特定攻击类型或梯度混淆技术的前提下，提升决策边界的鲁棒性。
• 探索利用条件生成对抗网络生成高质量、多样化的边界样本，以表征潜在的对抗方向。
• 提供一种一致且可泛化的防御策略，通过使用边界样本进行数据增强来增强鲁棒性。

提出的方法

• 通过在损失函数中增加Kullback-Leibler（KL）散度损失项，对条件生成对抗网络进行改进，以最小化模型预测分布与均匀分布之间的差异。
• KL散度正则化促使生成器在预训练分类器的决策边界附近生成样本，因为在此区域最可能发生误分类。
• 通过条件输入类别标签，使生成器能够生成特定类别的边界样本，从而保证样本的多样性与类别保真度。
• 将生成的边界样本用于数据增强，以微调预训练分类器，从而优化并平滑决策边界。
• 采用辅助分类器生成对抗网络（AC-GAN）架构，以提升样本质量与模式覆盖度，降低模式崩溃风险。
• 通过多种对抗攻击类型（包括FGSM、PGD和黑盒攻击）评估最终模型的鲁棒性。

实验结果

研究问题

• RQ1 能否有效修改条件生成对抗网络，以在预训练分类器的决策边界附近生成高质量的边界样本？
• RQ2 使用这些边界样本进行数据增强是否能显著提升深度神经网络对多样化对抗攻击的鲁棒性？
• RQ3 与对抗训练、防御蒸馏和Defense-GAN等现有防御方法相比，所提出的边界条件生成对抗网络在鲁棒性方面表现如何？
• RQ4 生成样本的多样性与准确性在多大程度上影响分类器最终的鲁棒性？
• RQ5 该防御机制能否泛化到未见过的攻击类型，包括黑盒攻击和迁移攻击？

主要发现

• 边界条件生成对抗网络在MNIST、Fashion-MNIST和CIFAR10上显著提升了鲁棒性，优于FGSM和PGD对抗训练、防御蒸馏以及Defense-GAN。
• 该方法在所有数据集上均达到当前最优的鲁棒性表现，尤其在保持高干净样本准确率和对抗样本准确率方面表现突出。
• 决策边界可视化显示，鲁棒模型扩大了干净样本周围的安全部位，表明其决策边界更加稳定且泛化能力更强。
• 该改进归因于生成了多样化、高质量的边界样本，能够捕捉多种对抗方向，从而增强泛化能力。
• 该方法避免了其他基于生成对抗网络的防御方法常见的模式崩溃与梯度混淆问题，强攻击下的表现保持一致。
• 定量评估证实，KL散度正则化能有效引导生成器聚焦于决策边界，实现高效的样本增强。