[论文解读] Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability

Kai Xiao, Vincent Tjeng+2 more|arXiv (Cornell University)|Sep 9, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用 64

一句话总结

本文提出与权重稀疏性和ReLU稳定性（RS Loss）协同设计的训练，以使对抗鲁棒性可验证性更快实现，在 MNIST 和 CIFAR-10 上实现了 4–13 倍的加速和更高的可证明准确性。RS Loss 结合稀疏化技术在大幅提升验证速度的同时对准确率的损失很小。

ABSTRACT

We explore the concept of co-design in the context of neural network verification. Specifically, we aim to train deep neural networks that not only are robust to adversarial perturbations but also whose robustness can be verified more easily. To this end, we identify two properties of network models - weight sparsity and so-called ReLU stability - that turn out to significantly impact the complexity of the corresponding verification task. We demonstrate that improving weight sparsity alone already enables us to turn computationally intractable verification problems into tractable ones. Then, improving ReLU stability leads to an additional 4-13x speedup in verification times. An important feature of our methodology is its "universality," in the sense that it can be used with a broad range of training procedures and verification approaches.

研究动机与目标

• 促成训练与验证的协同设计，以实现更快、更加精确的鲁棒性验证。
• 证明权重稀疏性和ReLU稳定性可以降低验证器的复杂度。
• 开发正则化技术以在不带来大幅度准确率损失的情况下诱导ReLU稳定性。
• 在 MNIST 和 CIFAR-10 上展示速度提升和可证明鲁棒性的改进。
• 提供一种与 LP/MILP 基于验证器兼容的通用方法。

提出的方法

• 使用 L1 正则化和小权重裁剪以增加权重稀疏性并减少验证变量。
• 定义 ReLU 稳定性并引入 RS Loss，通过平滑代理 (F = -tanh(1 + u·l)) 来促进稳定性。
• 使用区间算术估计 ReLU 边界（朴素或改进方法），以计算 RS Loss 的 u 和 l。
• 结合鲁棒对抗训练（Madry et al. 2018）与 RS Loss 和稀疏性技术进行训练。
• 使用基于 MILP 的精确验证器（Tjeng et al. 2019）评估，以衡量可证明鲁棒性和求解时间。
• 与基线和可证明防御方法进行比较，以评估加速和准确性。

实验结果

研究问题

• RQ1 将训练与验证目标进行协同设计，是否能降低精确验证的复杂性？
• RQ2 权重稀疏性和 ReLU 稳定性如何单独及共同影响验证速度和可证明鲁棒性？
• RQ3 通过 RS Loss 强制 ReLU 稳定性时，实际的准确性/验证权衡是什么？
• RQ4 这些方法是否可在不同验证器中通用，并可扩展到 CIFAR-10？
• RQ5 在不同扰动强度（epsilon）下，RS Loss 和稀疏性在可证明鲁棒性方面的表现如何？

主要发现

• 来自 L1 正则化与裁剪的权重稀疏性显著提升 MNIST 的验证速度和可证明鲁棒性（例如，epsilon=0.1 时经裁剪的可证明对抗准确率为 89.13%）。
• RS Loss 减少不稳定的 ReLU，并在 MNIST 上对 epsilon ∈ {0.1,0.2,0.3} 实现 4–13× 的验证加速，且准确率损失很小。
• 对于 CIFAR-10，RS Loss 产生较小的加速（1.6–3.7x），但在某些设置下仍提高了可证明鲁棒性。
• 将稀疏性与 RS Loss 相结合在保持最先进准确率的同时实现显著更快的精确验证。
• +RS 网络在测试的所有 epsilon 下获得更高的可证明对抗准确率（例如，MNIST epsilon=0.1 从 91.58% 提升到 94.33%）。
• 该方法在 CIFAR-10 上展示出改进的可证明鲁棒性，并可扩展到更大规模的网络，同时保持效率。