[論文レビュー] Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification.

Shiqi Wang, Huan Zhang+5 more|arXiv (Cornell University)|Mar 11, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用数 57

ひとこと要約

Beta-CROWN は、学習可能なパラメータ β を用いて各ニューロンの分割制約を統合する微分可能で境界伝播手法を導入し、完全および不完全なニューラルネットワーク検証において、効率的かつきつい境界を実現する。これは、LPに基づく BaB 法よりも最大300倍の高速化を達成し、MNIST（ε=0.3）において、検証済み精度と実証的ロバスト精度の差を35%から12%に縮小する。SDPに基づく検証手法よりも47倍高速である。

ABSTRACT

Recent works in neural network verification show that cheap incomplete verifiers such as CROWN, based upon bound propagations, can effectively be used in Branch-and-Bound (BaB) methods to accelerate complete verification, achieving significant speedups compared to expensive linear programming (LP) based techniques. However, they cannot fully handle the per-neuron split constraints introduced by BaB like LP verifiers do, leading to looser bounds and hurting their verification efficiency. In this work, we develop $\beta$-CROWN, a new bound propagation based method that can fully encode per-neuron splits via optimizable parameters $\beta$. When the optimizable parameters are jointly optimized in intermediate layers, $\beta$-CROWN has the potential of producing better bounds than typical LP verifiers with neuron split constraints, while being efficiently parallelizable on GPUs. Applied to the complete verification setting, $\beta$-CROWN is close to three orders of magnitude faster than LP-based BaB methods for robustness verification, and also over twice faster than state-of-the-art GPU-based complete verifiers with similar timeout rates. By terminating BaB early, our method can also be used for incomplete verification. Compared to the state-of-the-art semidefinite-programming (SDP) based verifier, we show a substantial leap forward by greatly reducing the gap between verified accuracy and empirical adversarial attack accuracy, from 35% (SDP) to 12% on an adversarially trained MNIST network ($\epsilon=0.3$), while being 47 times faster. Our code is available at this https URL

研究の動機と目的

• ニューラルネットワーク検証中に各ニューロンの分割制約を処理する際、従来の境界伝播手法の非効率性と緩い境界の問題を解消すること。
• 分割制約を組み込んだ、微分可能で GPU 並列処理が可能な手法を開発し、LPに基づく検証手法と同等またはそれを上回るきつい境界を達成すること。
• 高い効率性と向上したロバストネス検証精度を実現しながら、完全および不完全な検証を可能にすること。
• 特に adversarially trained モデルにおいて、検証済み精度と実証的敵対的精度のギャップを縮小すること。
• 高コストな LP や SDP に基づく検証手法のスケーラブルな代替手段を提供すること。

提案手法

• 境界伝播内に各ニューロンの分割制約を直接表現するための学習可能なパラメータ β を導入し、エンドツーエンドの微分可能性を実現する。
• 中間層全体にわたる β パrameter を同時に最適化することで、検証中の境界をきつくする。
• 完全な検証のための Branch-and-Bound (BaB) フレームワーク内に本手法を適用し、LPに基づくサブルーチンを置き換えたり高速化したりする。
• バックプロパゲーションを用いて境界伝播中に β パrameter を更新し、効率的な GPU 並列処理を可能にする。
• 不完全な検証のための早期終了をサポートし、高速な近似ロバストネス解析を可能にする。
• 微分可能構造を活用することで、標準的な CROWN よりもきつい境界を達成し、SDP や LP 検証手法と同等の結果を実現する。

実験結果

リサーチクエスチョン

• RQ1 境界伝播手法は、LP 検証手法と同様に、非効率を犠牲にせずに、各ニューロンの分割制約を完全に処理できるか？
• RQ2 境界伝播における学習可能なパラメータ β は、従来の CROWN や分割制約付き LP 基盤の手法よりもきつい境界を生成できるか？
• RQ3 速度と検証済み精度の観点から、Beta-CROWN は最先端の LP や SDP 基盤の検証手法と比較してどの程度の性能を示すか？
• RQ4 Beta-CROWN は、敵対的訓練を施したモデルにおいて、検証済み精度と実証的敵対的精度のギャップを顕著に縮小できるか？
• RQ5 Beta-CROWN は、実用的な検証ワークロードにおいて、GPU でどの程度スケーラブルかつ並列化可能か？

主な発見

• Beta-CROWN は、MNIST における完全なロバストネス検証において、LPに基づく BaB 法と比較して最大300倍の高速化を達成する。
• ε=0.3 の敵対的訓練を施した MNIST ネットワークにおいて、検証済み精度と実証的敵対的精度のギャップを、SDP による35%から12%に縮小する。
• 同タイムアウトレートを有する次に速い GPU 基盤の完全検証器よりも、2倍以上高速である。
• 分割制約を適用した場合、LP 検証手法の境界のきつさと同等またはそれを上回る。
• SDP 基盤の検証手法よりも47倍高速であり、検証済み精度のギャップを顕著に改善する。
• 微分可能な β パrameter の使用により、効果的でスケーラブルかつ並列処理可能な境界伝播が実現され、検証効率が向上する。