[论文解读] Scaling provable adversarial defenses

Eric Wong, Frank R. Schmidt+2 more|arXiv (Cornell University)|May 31, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用 120

一句话总结

本论文将可证明鲁棒训练扩展到具有跳步连接的“大型网络”，通过模块化对偶、通过随机投影线性缩放界限计算，以及级联模型来在 l-infinity 攻击下提高认证鲁棒性。

ABSTRACT

Recent work has developed methods for learning deep network classifiers that are provably robust to norm-bounded adversarial perturbation; however, these methods are currently only possible for relatively small feedforward networks. In this paper, in an effort to scale these approaches to substantially larger models, we extend previous work in three main directions. First, we present a technique for extending these training procedures to much more general networks, with skip connections (such as ResNets) and general nonlinearities; the approach is fully modular, and can be implemented automatically (analogous to automatic differentiation). Second, in the specific case of $\ell_\infty$ adversarial perturbations and networks with ReLU nonlinearities, we adopt a nonlinear random projection for training, which scales linearly in the number of hidden units (previous approaches scaled quadratically). Third, we show how to further improve robust error through cascade models. On both MNIST and CIFAR data sets, we train classifiers that improve substantially on the state of the art in provable robust adversarial error bounds: from 5.8% to 3.1% on MNIST (with $\ell_\infty$ perturbations of $ε=0.1$), and from 80% to 36.4% on CIFAR (with $\ell_\infty$ perturbations of $ε=2/255$). Code for all experiments in the paper is available at https://github.com/locuslab/convex_adversarial/.

研究动机与目标

• 推动对更大、现代化架构在范数受限的对抗扰动下的可扩展可证明鲁棒性。
• 开发一个模块化对偶函数框架，用以界定具有跳步连接和通用激活的网络的对抗损失。
• 通过非线性随机投影实现对 l-infinity 扰动的线性时间界限计算。
• 通过级联（集成）模型在训练中让后续分类器仅对前阶段未认证的样本进行认证，以提升鲁棒性能。
• 在 MNIST 和 CIFAR-10 上展示对先前可证明防御方法的显著改进。

提出的方法

• 通过将模块化对偶层结合使用层操作的 Fenchel 共轭来构建对偶网络。
• 推广到具有跳步连接和任意激活的网络，而不仅限于前向结构。
• 使用非线性随机投影来估算对抗界限，在带 ReLU 的 l-infinity 扰动下实现隐藏单元的线性缩放。
• 为线性算子和 ReLU 激活（以及其他激活通过参考文献）提供具体的对偶层，使得对偶网络的自动构建成为可能。
• 引入级联集成策略，即后续分类器被训练以仅对先前阶段未被认证的样本进行认证。
• 在测试时给出精确的概率界限，并讨论精确与投影界限计算的区别。

实验结果

研究问题

• RQ1 可证明鲁棒性界限是否可以扩展到具有跳步连接和任意激活的网络，而不仅仅是简单的前馈结构？
• RQ2 在不呈现二次标度的情况下，如何高效地为大型网络计算对抗鲁棒界限，以应对 l-infinity 扰动？
• RQ3 级联的鲁棒模型是否会在认证鲁棒性方面超越单模型防御？
• RQ4 在扩展网络规模和使用投影的情况下，MNIST 与 CIFAR-10 的经验证鲁棒误差的实际提升是什么？
• RQ5 与先前的可证明防御方法相比，这些方法在鲁棒性界限和训练效率方面有何不同？

主要发现

• 在 MNIST 上的认证鲁棒误差从 5.8% 提升到 3.1%，ε = 0.1。
• 在 CIFAR-10 上，鲁棒误差从 80% 提升到 36.4%，ε = 2/255。
• 对于 MNIST，大型模型在非级联训练下达到 3.7% 的鲁棒误差（ε = 0.1），级联后降至 3.1%。
• 对于 CIFAR-10，ResNet 在级联下实现 46.1% 的鲁棒误差（ε = 2/255），降至 36.4%。
• 级联虽增加名义误差，但提高鲁棒误差，呈现鲁棒性与准确度之间的权衡。
• 使用 50 维随机投影在 MNIST 上提供与精确界限相似的测试性能，同时获得显著的加速。