[论文解读] Certified Adversarial Robustness with Additive Gaussian Noise

Bai Li, Changyou Chen+2 more|arXiv (Cornell University)|Sep 10, 2018

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了一种可扩展的框架，在训练过程中引入加性高斯噪声，以实现在深度神经网络中的认证对抗鲁棒性。通过将鲁棒性与噪声注入相联系，该方法为扰动大小提供了理论保证的边界，在 MNIST、CIFAR-10 和 ImageNet 上表现出色，与最先进可证明防御方法相比，认证鲁棒性具有竞争力。

ABSTRACT

The existence of adversarial data examples has drawn significant attention in the deep-learning community; such data are seemingly minimally perturbed relative to the original data, but lead to very different outputs from a deep-learning algorithm. Although a significant body of work on developing defensive models has been considered, most such models are heuristic and are often vulnerable to adaptive attacks. Defensive methods that provide theoretical robustness guarantees have been studied intensively, yet most fail to obtain non-trivial robustness when a large-scale model and data are present. To address these limitations, we introduce a framework that is scalable and provides certified bounds on the norm of the input manipulation for constructing adversarial examples. We establish a connection between robustness against adversarial perturbation and additive random noise, and propose a training strategy that can significantly improve the certified bounds. Our evaluation on MNIST, CIFAR-10 and ImageNet suggests that the proposed method is scalable to complicated models and large data sets, while providing competitive robustness to state-of-the-art provable defense methods.

研究动机与目标

• 解决大规模深度学习模型中缺乏可扩展、理论基础坚实的对抗样本防御方法的问题。
• 克服启发式防御方法易受自适应攻击影响的局限性。
• 开发一种训练策略，即使在复杂模型和数据集上也能提供非平凡的认证鲁棒性边界。
• 建立对抗鲁棒性与加性随机噪声效应之间的理论联系。
• 以可扩展的方式改进认证鲁棒性边界，使其适用于 ImageNet 等真实世界数据集。

提出的方法

• 该方法引入了一种训练过程，在前向传播中向输入注入加性高斯噪声，以提升鲁棒性。
• 建立了对抗扰动鲁棒性与加性随机噪声鲁棒性之间的理论联系。
• 基于噪声方差推导出认证鲁棒性边界，确保在一定扰动半径内预测结果保持不变。
• 采用随机平滑技术计算鲁棒性证书，利用噪声注入以扩大认证半径。
• 训练策略设计为与标准深度学习流水线兼容，从而实现对大型模型和数据集的可扩展性。
• 该方法优化模型，在噪声注入分布下最大化认证鲁棒性半径的同时保持高准确率。

实验结果

研究问题

• RQ1 能否利用加性高斯噪声为深度神经网络推导出理论上认证的鲁棒性边界？
• RQ2 噪声注入如何影响大规模模型和数据集中的认证鲁棒性半径？
• RQ3 该方法能否在保持竞争性鲁棒性保证的同时扩展到 ImageNet 等复杂模型和数据集？
• RQ4 与现有可证明防御方法相比，该方法在认证鲁棒性和准确率方面表现如何？
• RQ5 注入噪声的方差与最终对抗鲁棒性之间存在何种关系？

主要发现

• 所提出的方法在 MNIST、CIFAR-10 和 ImageNet 上均实现了非平凡的认证鲁棒性，即使在大规模模型上亦如此。
• 该框架提供了理论保证的鲁棒性边界，其性能与最先进可证明防御方法相当。
• 该方法在 ImageNet 上表现出有效的可扩展性，证明了在高维真实场景中认证鲁棒性是可行的。
• 与不采用此类正则化的基线方法相比，训练过程中的噪声注入显著提升了认证半径。
• 该方法在保持高干净准确率的同时实现了强大的鲁棒性，表明准确率与鲁棒性之间具有有利的权衡。
• 噪声鲁棒性与对抗鲁棒性之间的理论联系，使得在仅进行最小架构修改的情况下实现实际认证成为可能。