[论文解读] On the Effectiveness of Interval Bound Propagation for Training Verifiably Robust Models

Sven Gowal, Krishnamurthy Dvijotham+7 more|arXiv (Cornell University)|Oct 30, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用 300

一句话总结

本文表明区间边界传播（IBP）可用于高效训练大规模可验证鲁棒的神经网络，在 MNIST、CIFAR-10、SVHN 上达到最先进的已验证精度，并在缩放后的 ImageNet 上实现非空的验证。

ABSTRACT

Recent work has shown that it is possible to train deep neural networks that are provably robust to norm-bounded adversarial perturbations. Most of these methods are based on minimizing an upper bound on the worst-case loss over all possible adversarial perturbations. While these techniques show promise, they often result in difficult optimization procedures that remain hard to scale to larger networks. Through a comprehensive analysis, we show how a simple bounding technique, interval bound propagation (IBP), can be exploited to train large provably robust neural networks that beat the state-of-the-art in verified accuracy. While the upper bound computed by IBP can be quite weak for general networks, we demonstrate that an appropriate loss and clever hyper-parameter schedule allow the network to adapt such that the IBP bound is tight. This results in a fast and stable learning algorithm that outperforms more sophisticated methods and achieves state-of-the-art results on MNIST, CIFAR-10 and SVHN. It also allows us to train the largest model to be verified beyond vacuous bounds on a downscaled version of ImageNet.

研究动机与目标

• 证明一个简单的区间界限传播界可以用于在大规模上训练可验证鲁rob的分类器。
• 表明 IBP 在已验证精度方面能够超越更复杂的基于验证的方法，同时保持计算效率。
• 提供基于课程的训练策略，稳定优化并提升可验证鲁棒模型的泛化性。
• 在 MNIST、CIFAR-10、SVHN 以及缩放后的 ImageNet 上对比前沿方法评估基于 IBP 的训练，以确立新的基线。

提出的方法

• 通过网络层传播轴对齐的区间界限，以对抗对数 logits 相对于 l_infty 扰动界限进行界定。
• 建立一个训练损失，将名义预测损失与来自最坏情况对数界的规格损失结合起来（L = kappa * L_fit + (1 - kappa) * L_spec）。
• 省略最后的线性层以获得更紧的最坏情况对数界（改进对最坏情况对数的估计）。
• 通过网络进行两次前向传递以计算 IBP 边界，从而实现快速、可扩展的边界传播。
• 课程安排：在训练过程中逐步增加 epsilon，并调整 kappa 以平衡拟合和验证目标。
• 在可行时使用精确的 MIP/LP 瀑布进行鲁棒性验证，并将 IBP 边界与这些验证进行比较。

实验结果

研究问题

• RQ1 区间界限传播是否能提供一个可扩展且有效的框架，用于训练可验证鲁棒的模型？
• RQ2 在经验和已验证的精度方面，IBP 训练的鲁棒性与最先进的方法（如 Madry 等、Wong 等）在不同数据集和 epsilon 值上的比较？
• RQ3 IBP 边界是否足够紧，以作为全量验证的可靠代理，其紧密度在训练过程中如何演变？
• RQ4 在保持非空验证的前提下，IBP 是否能扩展到更大规模的网络和更高分辨率的数据（如缩放后的 ImageNet）？

主要发现

• IBP 在 MNIST、CIFAR-10、和 SVHN 上在若干扰动半径下实现了最先进的已验证精度（例如 Mnist：在 ε=0.1 时已验证错误率 2.23%，在 ε=0.3 时 8.05%；CIFAR-10：在 ε=8/255 时已验证错误率 67.96%）。
• IBP 可扩展到更大规模的体系结构，甚至扩展到缩放后的 ImageNet（64×64），在 WideResNet-10-10 上 ε=1/255 时的非空验证错误为 93.87%。
• IBP 边界与完整的 MIP/LP 基于验证边界具有竞争力，且通常接近，表明该边界是可验证鲁棒性的一个良好代理。
• IBP 训练显著比某些替代方法更快（例如，在 Titan Xp 上小模型训练时间约 3.5 秒/轮，而某些基线需要数分钟）。
• 精心设计的课程计划（epsilon 和 kappa）使模型能够适应 IBP 边界，并提升名义与已验证性能。
• 在 ImageNet 缩放数据上，IBP 提供了可验证的鲁棒性，在此前的工作未能在 ε=1/255 时给出非空的边界。