[论文解读] Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Robustness Verification

Shiqi Wang, Huan Zhang+5 more|arXiv (Cornell University)|Mar 11, 2021

Adversarial Robustness in Machine Learning被引用 11

一句话总结

Beta-CROWN 提出了一种高效的边界传播方法，通过可学习参数 β 将每个神经元的分裂约束纳入其中，实现了 GPU 加速的完整与不完整神经网络鲁棒性验证。其验证速度相比基于 LP 的分支定界方法最高提升 1,000 倍，并在验证准确率与效率方面超越了当前最先进验证器，在 VNN-COMP 2021 中成为优胜工具。

ABSTRACT

Bound propagation based incomplete neural network verifiers such as CROWN are very efficient and can significantly accelerate branch-and-bound (BaB) based complete verification of neural networks. However, bound propagation cannot fully handle the neuron split constraints introduced by BaB commonly handled by expensive linear programming (LP) solvers, leading to loose bounds and hurting verification efficiency. In this work, we develop $β$-CROWN, a new bound propagation based method that can fully encode neuron splits via optimizable parameters $β$ constructed from either primal or dual space. When jointly optimized in intermediate layers, $β$-CROWN generally produces better bounds than typical LP verifiers with neuron split constraints, while being as efficient and parallelizable as CROWN on GPUs. Applied to complete robustness verification benchmarks, $β$-CROWN with BaB is up to three orders of magnitude faster than LP-based BaB methods, and is notably faster than all existing approaches while producing lower timeout rates. By terminating BaB early, our method can also be used for efficient incomplete verification. We consistently achieve higher verified accuracy in many settings compared to powerful incomplete verifiers, including those based on convex barrier breaking techniques. Compared to the typically tightest but very costly semidefinite programming (SDP) based incomplete verifiers, we obtain higher verified accuracy with three orders of magnitudes less verification time. Our algorithm empowered the $α,\!β$-CROWN (alpha-beta-CROWN) verifier, the winning tool in VNN-COMP 2021. Our code is available at http://PaperCode.cc/BetaCROWN

研究动机与目标

• 为解决边界传播方法在处理分支定界（BaB）验证引入的神经元分裂约束时效率低下的问题。
• 开发一种方法，将边界传播的效率与线性规划（LP）求解器在神经元分裂约束上的准确性相结合。
• 通过 GPU 加速实现完整验证，与传统的基于 LP 的 BaB 方法相比，将验证时间降低几个数量级。
• 在完整与不完整验证设置下，相比现有最先进方法，提升验证准确率。
• 构建一个实用且可扩展的验证器，在真实世界基准测试中表现优于现有工具，如在 VNN-COMP 2021 中胜出。

提出的方法

• 引入源自拉格朗日乘子的可学习参数 β，用于在边界传播中编码神经元分裂约束。
• 使用超梯度上升法联合优化 β 和中间层边界，收紧松弛解，而无需依赖昂贵的 LP 求解器。
• 采用自动微分框架，高效实现 GPU 上的 β-CROWN，支持并行化与高吞吐量。
• 同时支持通过 BaB 的完整验证与通过提前终止实现的不完整验证，返回可靠下界。
• 联合优化 α 和 β 变量，以在保持计算效率的同时提升边界紧致性。
• 构建验证器 α,β-CROWN，利用 β-CROWN 实现神经网络验证竞赛中的最先进性能。

实验结果

研究问题

• RQ1 边界传播方法能否在不依赖昂贵 LP 求解器的情况下，完全编码神经元分裂约束？
• RQ2 与固定或单独优化的边界相比，联合优化 β 和中间层边界如何提升验证的紧致性？
• RQ3 在速度与可扩展性方面，基于 β 参数的 GPU 加速边界传播相比传统基于 LP 的 BaB 能否实现显著优势？
• RQ4 β-CROWN 是否能在显著更快的速度下，实现比不完整 LP 基础与 SDP 基础验证器更高的验证准确率？
• RQ5 作为不完整验证器，β-CROWN 在提前终止时的表现与现有不完整验证方法相比如何？

主要发现

• 在 CIFAR-10 基准上，Beta-CROWN BaB 相比基于 LP 的 BaB 方法，验证时间最高缩短三个数量级。
• 由 β-CROWN 驱动的 α,β-CROWN 验证器在第二届国际神经网络验证竞赛（VNN-COMP 2021）中以最高总分和最高验证实例数夺冠。
• Beta-CROWN 实现的验证准确率高于强大的不完整验证器，包括基于凸障碍突破与紧致线性松弛的方法。
• 与半定规划（SDP）验证器相比，β-CROWN 在验证时间减少三个数量级的同时，实现了更高的验证准确率。
• 在 CPU 上，β-CROWN 仍保持强劲性能，表明算法效率对加速有显著贡献，GPU 加速使性能提升至少 2 倍。
• 消融研究证实，联合优化 α 和 β 参数可获得最佳性能，其中 β 优化的影响大于 α 优化。