[論文レビュー] Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Robustness Verification

Shiqi Wang, Huan Zhang+5 more|arXiv (Cornell University)|Mar 11, 2021

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

Beta-CROWN は、最適化可能なパラメータ β を用いて各ニューロンの分割制約を統合する効率的な境界伝搬法を導入し、GPU による高速化を実現した完全および不完全なニューラルネットワークのロバストネス検証を可能にした。この手法は、LP に基づく分枝限定法よりも最大 1,000 倍高速であり、検証精度と効率性の両面で最先端の検証ツールを上回り、VNN-COMP 2021 の優勝ツールとなった。

ABSTRACT

Bound propagation based incomplete neural network verifiers such as CROWN are very efficient and can significantly accelerate branch-and-bound (BaB) based complete verification of neural networks. However, bound propagation cannot fully handle the neuron split constraints introduced by BaB commonly handled by expensive linear programming (LP) solvers, leading to loose bounds and hurting verification efficiency. In this work, we develop $β$-CROWN, a new bound propagation based method that can fully encode neuron splits via optimizable parameters $β$ constructed from either primal or dual space. When jointly optimized in intermediate layers, $β$-CROWN generally produces better bounds than typical LP verifiers with neuron split constraints, while being as efficient and parallelizable as CROWN on GPUs. Applied to complete robustness verification benchmarks, $β$-CROWN with BaB is up to three orders of magnitude faster than LP-based BaB methods, and is notably faster than all existing approaches while producing lower timeout rates. By terminating BaB early, our method can also be used for efficient incomplete verification. We consistently achieve higher verified accuracy in many settings compared to powerful incomplete verifiers, including those based on convex barrier breaking techniques. Compared to the typically tightest but very costly semidefinite programming (SDP) based incomplete verifiers, we obtain higher verified accuracy with three orders of magnitudes less verification time. Our algorithm empowered the $α,\!β$-CROWN (alpha-beta-CROWN) verifier, the winning tool in VNN-COMP 2021. Our code is available at http://PaperCode.cc/BetaCROWN

研究の動機と目的

• 分枝限定法（BaB）による検証で生じるニューロンの分割制約を扱う際の境界伝搬法の非効率性を解消すること。
• 境界伝搬の効率性と線形計画法（LP）ソルバーの精度を統合する手法の開発。
• 従来の LP に基づく BaB と比較して、検証時間を桁違いに短縮する GPU アクセeleration を用いた完全検証の実現。
• 従来の最先端手法と比較して、完全および不完全検証の両設定において高い検証精度を達成すること。
• 実世界のベンチマークで優れた性能を示し、VNN-COMP 2021 で優勝を果たす実用的でスケーラブルな検証ツールの開発。

提案手法

• ラグランジュ乗数から導出される最適化可能なパラメータ β を用いて、境界伝搬におけるニューロンの分割制約を表現する。
• スーパーグラデント上昇を用いて、β と中間層の境界を同時に最適化し、高価な LP ソルバーに依存せずに緩和を厳しくする。
• 自動微分フレームワークを活用して、GPU での効率的実装を実現し、並列処理と高スルーレットを可能にする。
• 分枝限定法による完全検証と、早期終了による不完全検証の両方をサポートし、整合的な下界を返却する。
• α と β 変数の共同最適化を実現し、計算効率を維持したまま境界のタイトネスを向上させる。
• β-CROWN を活用した検証ツール α,β-CROWN を構築し、ニューラルネットワーク検証コンペティションで最先端の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 境界伝搬法は、高価な LP ソルバーに依存せずに、ニューロンの分割制約を完全に表現できるか？
• RQ2 β と中間層境界を同時に最適化することで、固定値または別々に最適化された境界と比較して、検証のタイトネスはどの程度向上するか？
• RQ3 β パrameter を用いた GPU アクセeleration を施した境界伝搬は、従来の LP に基づく BaB と比較して、速度とスケーラビリティの面でどの程度優れているか？
• RQ4 β-CROWN は、不完全な LP に基づくおよび SDP に基づく検証ツールと比較して、より高い検証精度を達成できるか、かつ著しく高速であるか？
• RQ5 早期終了された場合の β-CROWN の不完全検証としての有効性は、既存の不完全検証手法と比較してどの程度高いか？

主な発見

• CIFAR-10 ベンチマークにおいて、Beta-CROWN BaB は、LP に基づく BaB 手法と比較して、検証時間を最大 3 時間分のオーダー短縮した。
• β-CROWN を活用する α,β-CROWN 検証ツールは、第 2 回国際ニューラルネットワーク検証コンペティション（VNN-COMP 2021）で最高総得点を記録し、最も多くのインスタンスを検証した。
• Beta-CROWN は、凸バリア破壊やタイトな線形緩和に基づく強力な不完全検証ツールと比較して、より高い検証精度を達成した。
• 半定値計画法（SDP）に基づく検証ツールと比較して、β-CROWN は 3 時間分のオーダー少ない検証時間で、より高い検証精度を達成した。
• CPU 上でも β-CROWN は強力な性能を維持しており、アルゴリズムの効率性が高速化に大きく寄与していることが示された。GPU アクセeleration により、性能は最低でも 2 倍向上した。
• アブレーションスタディにより、α と β パrameter の共同最適化が最良のパフォーマンスをもたらすことが確認され、β の最適化が α の最適化よりもより大きな影響を及ぼした。