[论文解读] Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks

Thilo Strauss, Markus Hanselmann+2 more|arXiv (Cornell University)|Sep 11, 2017

Adversarial Robustness in Machine Learning参考文献 22被引用 77

一句话总结

本文研究将集成方法作为对抗扰动的唯一防御手段，并显示集集成在未扰动数据的准确性和对抗攻击鲁棒性上均有提升，适用于 MNIST 与 CIFAR-10。

ABSTRACT

Deep learning has become the state of the art approach in many machine learning problems such as classification. It has recently been shown that deep learning is highly vulnerable to adversarial perturbations. Taking the camera systems of self-driving cars as an example, small adversarial perturbations can cause the system to make errors in important tasks, such as classifying traffic signs or detecting pedestrians. Hence, in order to use deep learning without safety concerns a proper defense strategy is required. We propose to use ensemble methods as a defense strategy against adversarial perturbations. We find that an attack leading one model to misclassify does not imply the same for other networks performing the same task. This makes ensemble methods an attractive defense strategy against adversarial attacks. We empirically show for the MNIST and the CIFAR-10 data sets that ensemble methods not only improve the accuracy of neural networks on test data but also increase their robustness against adversarial perturbations.

研究动机与目标

• 为用于安全关键任务的深度神经网络中对抗扰动的鲁棒防御需求提供动机。
• 提出将集成方法作为一种防御策略，能够同时提升对干净数据的准确性和对对抗攻击的鲁棒性。
• 系统性地在 MNIST 和 CIFAR-10 上评估集成方法，对抗常见攻击如 FGSM 和 BIM。
• 将集成防御与现有防御如对抗性训练和防御性蒸馏进行比较，包括组合方式。
• 讨论集成防御在计算复杂性和内存方面的实际权衡。

提出的方法

• 使用由 10 个分类器组成的集成，具备随机初始化、架构多样性、袋装法（bagging）或在训练数据中引入高斯噪声作为防御。
• 使用 FGSM 和 BIM 进行攻击评估，结合 Gradients Grad.1（逐个分类器梯度）和 Grad.2（集成平均梯度）来测试鲁棒性。
• 训练简单的 MNIST 和 CIFAR-10 网络（具有所指明的架构），评估干净数据与被攻击数据的准确性。
• 比较集成策略：随机初始化、相似架构、袋装法以及高斯噪声，与单一模型进行对比。
• 评估将集成与对抗性训练或防御性蒸馏相结合的效果，以衡量对鲁棒性和准确性的增益。

实验结果

研究问题

• RQ1 单独使用集成方法是否能提高深度神经网络对对抗扰动的鲁棒性，同时不牺牲对干净数据的准确性？
• RQ2 哪些集成策略在 MNIST 和 CIFAR-10 上对 FGSM 和 BIM 攻击能提供最佳鲁棒性？
• RQ3 集成方法与对抗性训练和防御性蒸馏相比如何，组合是否带来额外的收益或成本？
• RQ4 针对集成的攻击梯度（Grad.1 与 Grad.2）如何影响对抗效果？

主要发现

• 在 MNIST 和 CIFAR-10 上，集成在 FGSM 与 BIM 攻击下优于单一分类器。
• 训练时加入高斯噪声在所测试的集成策略中提供了对对抗扰动的最佳防御效果。
• 袋装通常提供强大的鲁棒性提升，尽管在干净数据上的准确性有时会略有下降。
• 与对抗性训练结合的集成可进一步提升鲁棒性，而与防御性蒸馏的组合并不始终优于标准集成。
• 在干净数据上，集成通常维持或略微提高与单一模型相比的准确性。
• 在 BIM 结合 Grad.1 时，集成在 MNIST 上的鲁棒性达到 89–98%，CIFAR-10 上达到 68–73%，相较单一模型有显著提升。