[论文解读] Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification.

Shiqi Wang, Huan Zhang+5 more|arXiv (Cornell University)|Mar 11, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用 57

一句话总结

Beta-CROWN 提出了一种可微分的边界传播方法，通过可学习参数 β 直接引入每个神经元的分裂约束，实现了完整与不完整神经网络验证的高效且紧致的边界。该方法相较于基于 LP 的 BaB 方法实现了高达 300 倍的速度提升，并将 MNIST 数据集上 ε=0.3 时验证准确率与实际对抗鲁棒准确率之间的差距从 35% 降低至 12%，在速度上比基于 SDP 的验证器快 47 倍。

ABSTRACT

Recent works in neural network verification show that cheap incomplete verifiers such as CROWN, based upon bound propagations, can effectively be used in Branch-and-Bound (BaB) methods to accelerate complete verification, achieving significant speedups compared to expensive linear programming (LP) based techniques. However, they cannot fully handle the per-neuron split constraints introduced by BaB like LP verifiers do, leading to looser bounds and hurting their verification efficiency. In this work, we develop $\beta$-CROWN, a new bound propagation based method that can fully encode per-neuron splits via optimizable parameters $\beta$. When the optimizable parameters are jointly optimized in intermediate layers, $\beta$-CROWN has the potential of producing better bounds than typical LP verifiers with neuron split constraints, while being efficiently parallelizable on GPUs. Applied to the complete verification setting, $\beta$-CROWN is close to three orders of magnitude faster than LP-based BaB methods for robustness verification, and also over twice faster than state-of-the-art GPU-based complete verifiers with similar timeout rates. By terminating BaB early, our method can also be used for incomplete verification. Compared to the state-of-the-art semidefinite-programming (SDP) based verifier, we show a substantial leap forward by greatly reducing the gap between verified accuracy and empirical adversarial attack accuracy, from 35% (SDP) to 12% on an adversarially trained MNIST network ($\epsilon=0.3$), while being 47 times faster. Our code is available at this https URL

研究动机与目标

• 为解决现有边界传播方法在处理神经网络验证过程中逐神经元分裂约束时效率低下且边界松散的问题。
• 开发一种可微分、支持 GPU 并行化的验证方法，使其在引入分裂约束时，边界紧致性可与基于 LP 的验证器相匹配或超越。
• 实现高效且提升鲁棒性验证准确率的完整与不完整验证。
• 缩小验证准确率与实际对抗鲁棒准确率之间的差距，尤其针对对抗训练模型。
• 为昂贵的基于 LP 和 SDP 的验证技术提供可扩展的替代方案。

提出的方法

• 引入可学习参数 β，将逐神经元分裂约束直接编码于边界传播过程中，实现端到端可微分。
• 联合优化中间层的 β 参数，以在验证过程中进一步收紧边界。
• 在分支定界（BaB）框架中应用该方法，用于完整验证，替代或加速基于 LP 的子程序。
• 利用反向传播在边界传播过程中更新 β 参数，实现高效的 GPU 并行化。
• 支持早期终止机制，用于不完整验证，实现快速近似鲁棒性分析。
• 利用可微分结构，获得比标准 CROWN 更紧的边界，且在性能上与基于 SDP 和 LP 的验证器相当。

实验结果

研究问题

• RQ1 边界传播方法能否像基于 LP 的验证器一样完全处理逐神经元分裂约束，同时不损失效率？
• RQ2 在边界传播中引入可学习参数 β，能否产生比传统 CROWN 方法甚至基于 LP 的方法更紧的边界？
• RQ3 Beta-CROWN 在速度和验证准确率方面与最先进的基于 LP 和 SDP 的验证器相比表现如何？
• RQ4 Beta-CROWN 能否显著缩小对抗训练模型上验证准确率与实际对抗鲁棒准确率之间的差距？
• RQ5 Beta-CROWN 在 GPU 上的可扩展性和并行化程度如何，能否满足实际验证工作负载的需求？

主要发现

• Beta-CROWN 在 MNIST 数据集上的完整鲁棒性验证中，相较于基于 LP 的 BaB 方法实现了高达 300 倍的速度提升。
• 在 ε=0.3 的对抗训练 MNIST 网络上，验证准确率与实际对抗鲁棒准确率之间的差距从 SDP 方法的 35% 降低至 12%。
• Beta-CROWN 的速度比第二快的基于 GPU 的完整验证器快两倍以上，且具有相近的超时率。
• 在应用分裂约束时，该方法的边界紧致性与基于 LP 的验证器相当或更优。
• 相较于基于 SDP 的验证器，Beta-CROWN 实现了 47 倍的速度提升，同时显著改善了验证准确率的差距。
• 通过使用可微分的 β 参数，实现了高效、可扩展且可并行化的边界传播，显著提升了验证效率。