[论文解读] MixTrain: Scalable Training of Verifiably Robust Neural Networks

Shiqi Wang, Yizheng Chen+2 more|arXiv (Cornell University)|Nov 6, 2018

Adversarial Robustness in Machine Learning被引用 10

一句话总结

MixTrain 引入了两种新颖技术——随机鲁棒近似和动态混合训练，通过最多 15 倍的速度提升，加速了可验证鲁棒神经网络训练，同时在 $L_\infty$-有界攻击下实现了 95.2% 的可验证鲁棒准确率。该方法使大规模模型（如在 ImageNet-200 上训练的模型）实现可扩展的、可验证的鲁棒性，其在速度、准确率和鲁棒性方面均优于以往的对抗性训练和可验证鲁棒训练方法。

ABSTRACT

Making neural networks robust against adversarial inputs has resulted in an arms race between new defenses and attacks. The most promising defenses, adversarially robust training and verifiably robust training, have limitations that restrict their practical applications. The adversarially robust training only makes the networks robust against a subclass of attackers and we reveal such weaknesses by developing a new attack based on interval gradients. By contrast, verifiably robust training provides protection against any L-p norm-bounded attacker but incurs orders of magnitude more computational and memory overhead than adversarially robust training. We propose two novel techniques, stochastic robust approximation and dynamic mixed training, to drastically improve the efficiency of verifiably robust training without sacrificing verified robustness. We leverage two critical insights: (1) instead of over the entire training set, sound over-approximations over randomly subsampled training data points are sufficient for efficiently guiding the robust training process; and (2) We observe that the test accuracy and verifiable robustness often conflict after certain training epochs. Therefore, we use a dynamic loss function to adaptively balance them for each epoch. We designed and implemented our techniques as part of MixTrain and evaluated it on six networks trained on three popular datasets including MNIST, CIFAR, and ImageNet-200. Our evaluations show that MixTrain can achieve up to $95.2\%$ verified robust accuracy against $L_\infty$ norm-bounded attackers while taking $15$ and $3$ times less training time than state-of-the-art verifiably robust training and adversarially robust training schemes, respectively. Furthermore, MixTrain easily scales to larger networks like the one trained on ImageNet-200, significantly outperforming the existing verifiably robust training methods.

研究动机与目标

• 解决可验证鲁棒训练带来的高计算和内存开销问题，该问题限制了其在小型网络之外的应用。
• 通过动态平衡两个目标，克服训练过程中测试准确率与可验证鲁棒性之间的冲突。
• 实现大规模模型（如 ImageNet-200 上的模型）的可扩展、可验证鲁棒训练，而此前的方法无法处理此类模型。
• 通过展示对抗性鲁棒网络对新型攻击（如区间梯度攻击）的根本性脆弱性，证明可验证防御的必要性。
• 在显著降低训练时间和内存使用量的前提下，实现最先进的可验证鲁棒准确率，优于现有鲁棒训练方法。

提出的方法

• 随机鲁棒近似通过仅在每个训练周期的随机子采样子批次上计算鲁棒性违规的可靠上界近似，而非整个数据集，从而降低训练成本。
• 动态混合训练使用一种自适应损失函数，通过可学习超参数 $\alpha$ 平衡标准交叉熵损失和鲁棒损失，该参数在每个周期更新，以优化测试准确率与可验证鲁棒准确率之间的权衡。
• 该方法利用了一个关键洞察：全数据集上的上界近似仅在最终鲁棒性验证时需要，而无需在基于梯度的训练优化过程中使用。
• 自适应 $\alpha$ 机制动态调整损失权重，随着训练推进逐步优先考虑鲁棒性，避免了固定权重方法中常见的准确率-鲁棒性权衡问题。
• 该框架以 MixTrain 的形式实现，并在 MNIST、CIFAR 和 ImageNet-200 上的六种网络上进行了评估，使用 $L_\infty$-范数有界攻击进行验证。
• 提出了一种新型的一阶区间梯度攻击，用于揭示对抗性鲁棒训练的局限性，从而验证可验证防御的必要性。

实验结果

研究问题

• RQ1 可验证鲁棒训练能否在不带来禁止性计算成本的前提下，扩展到如在 ImageNet-200 上训练的大规模神经网络？
• RQ2 仅在子批次上应用上界近似（即随机鲁棒近似）是否足以在引导鲁棒训练过程中保持足够的准确性？
• RQ3 与固定权重训练相比，采用自适应 $\alpha$ 的动态损失加权能否更好地平衡测试准确率与可验证鲁棒准确率？
• RQ4 MixTrain 在性能和效率方面与当前最先进的对抗性鲁棒训练和可验证鲁棒训练方法相比如何？
• RQ5 当前部署的对抗性鲁棒网络在多大程度上容易受到新型攻击（如区间梯度攻击）的影响，这些攻击能够绕过其防御机制？

主要发现

• MixTrain 在 CIFAR-10 上对 $L_\infty$-范数有界攻击实现了高达 95.2% 的可验证鲁棒准确率，显著优于以往的可验证鲁棒训练方法。
• 与最先进的可验证鲁棒训练相比，MixTrain 将训练时间最多减少 15 倍；与对抗性鲁棒训练相比，最多减少 3 倍，同时保持或提升了测试准确率。
• 与现有可验证鲁棒训练相比，该方法将内存使用量最多降低 50 倍，从而实现了在 ImageNet-200 等大规模模型上的训练。
• 与固定 $\alpha=0.5$ 相比，自适应 $\alpha$ 的损失加权机制使可验证鲁棒准确率提升 6.7%（从 30.9% 提升至 37.6%），测试准确率提升 1.3%（从 71.4% 提升至 71.7%）。
• 所提出的区间梯度攻击使对抗性攻击在当前最先进的对抗性鲁棒网络上的成功率最高提升 40%，暴露了其根本性脆弱性。
• 与先前最先进的可验证鲁棒训练方法相比，MixTrain 实现了高出 13.2% 的测试准确率，表明改进的训练动态可同时提升准确率与鲁棒性。