[論文レビュー] General Cutting Planes for Bound-Propagation-Based Neural Network Verification

Huan Zhang, Shiqi Wang+6 more|arXiv (Cornell University)|Aug 11, 2022

Adversarial Robustness in Machine Learning被引用数 32

ひとこと要約

本論文は境界伝播(bound propagation)に任意のカッティングプレーン制約を含めることを一般化し（緩和された整数変数を含む）、GPU加速境界伝播(GCP-CROWN)と既製のMIPソルバーを組み合わせて高品質なカットを生成し、難易度の高いベンチマークで最先端の検証性能を達成します。

ABSTRACT

Bound propagation methods, when combined with branch and bound, are among the most effective methods to formally verify properties of deep neural networks such as correctness, robustness, and safety. However, existing works cannot handle the general form of cutting plane constraints widely accepted in traditional solvers, which are crucial for strengthening verifiers with tightened convex relaxations. In this paper, we generalize the bound propagation procedure to allow the addition of arbitrary cutting plane constraints, including those involving relaxed integer variables that do not appear in existing bound propagation formulations. Our generalized bound propagation method, GCP-CROWN, opens up the opportunity to apply general cutting plane methods for neural network verification while benefiting from the efficiency and GPU acceleration of bound propagation methods. As a case study, we investigate the use of cutting planes generated by off-the-shelf mixed integer programming (MIP) solver. We find that MIP solvers can generate high-quality cutting planes for strengthening bound-propagation-based verifiers using our new formulation. Since the branching-focused bound propagation procedure and the cutting-plane-focused MIP solver can run in parallel utilizing different types of hardware (GPUs and CPUs), their combination can quickly explore a large number of branches with strong cutting planes, leading to strong verification performance. Experiments demonstrate that our method is the first verifier that can completely solve the oval20 benchmark and verify twice as many instances on the oval21 benchmark compared to the best tool in VNN-COMP 2021, and also noticeably outperforms state-of-the-art verifiers on a wide range of benchmarks. GCP-CROWN is part of the $α,\!β$-CROWN verifier, the VNN-COMP 2022 winner. Code is available at http://PaperCode.cc/GCP-CROWN

研究の動機と目的

• 効率的な境界伝播と一般カット平面を組み合わせて、ニューラルネットワーク検証器を強化する動機づけ。
• 任意の層変数および緩和された整数変数を含むカッティングプレーンに対応できるよう、境界伝播を一般化する。
• 既製のMIPソルバーを活用してカットを生成し、GPU境界伝播と並行して実行して効率化する。
• oval20およびoval21ベンチマークとSDP-FOモデルで強力な実証性能を示す。

提案手法

• x^(i)、hat{x}^(i)、および z^(i) を含む任意の層にまたがるカッティングプレーン制約を含めるよう境界伝播を一般化する。
• カッティングプレーンを含むLP緩和を定式化し、双対問題を導出して層ごとの境界伝播ルールを得る（定理3.1）。
• 緊縮された下界目的関数として g(alpha, beta) を導入し、境界を更に締めるために勾配上昇法で alpha, beta を最適化する。
• GPU加速境界伝播（GCP-CROWN）と、分岐なしでカットを生成する既製のMIPソルバー（CPU）を組み合わせ、並列・非同期な設定でカットを境界伝播検証機に供給する。
• alpha,beta-CROWN フレームワークに GCP-CROWN を統合し、早期カットとサブドメイン難易度の違いを活かすよう BnB 戦略を調整する。

実験結果

リサーチクエスチョン

• RQ1 遅いLPソルバーに依存せず、一般カット平面を境界伝播ベースのNN検証器に組み込むことができるか？
• RQ2 複数の層の変数（緩和された整数変数を含む）を含むカット平面は、検証の境界をどう改善できるか？
• RQ3 GPU加速境界伝播とCPUベースのMIP生成カットを組み合わせた場合の検証性能への影響は？
• RQ4 先端検証器と比較したとき、難易度の高いベンチマーク（oval20、oval21、SDP-FO）での GCP-CROWN+MIP の性能はどうか？
• RQ5 一般カットを BaB フレームワークに組み込むと、難易度の高いネットワークで完全な検証が得られるか？

主な発見

• GCP-CROWN はすべての oval20 インスタンスを完全に解き、各インスタンスの平均時間は5秒未満。
• oval21 では、GCP-CROWN は VNN-COMP 2021 の競合勝者の約2倍のインスタンスを検証。
• GCP-CROWN with MIP cuts は、広範なベンチマークで最先端の境界伝播検証器を上回る。
• 一般カット平面（複数の層や緩和された整数変数を含むものを含む）を用いると、凸緩和を大幅に強化し、分岐を削減できる。
• CPU-MIPソルバーとGPU境界伝播は並列に動作し、強力なカットで多くの分岐を効率的に探索できる。