[論文レビュー] Lagrangian Decomposition for Neural Network Verification

Rudy Bunel, Alessandro De Palma+5 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 8

ひとこと要約

本稿では、ニューラルネットワークの検証のための新しいラグランジュ分解手法を提案する。この手法は、問題の構造を活用することで、従来の双対法よりもタイトな境界を達成する。手法は、ニューラルネットワークの演算にインspiredされたスーパー勾配法とプロキシマルアルゴリズムを用い、GPU並列処理と任意の停止が可能であり、時間制約下で既存の汎用ソルバーや従来の双対アルゴリズムに比べて高速な収束と優れた境界を実現する。

ABSTRACT

A fundamental component of neural network verification is the computation of bounds on the values their outputs can take. Previous methods have either used off-the-shelf solvers, discarding the problem structure, or relaxed the problem even further, making the bounds unnecessarily loose. We propose a novel approach based on Lagrangian Decomposition. Our formulation admits an efficient supergradient ascent algorithm, as well as an improved proximal algorithm. Both the algorithms offer three advantages: (i) they yield bounds that are provably at least as tight as previous dual algorithms relying on Lagrangian relaxations; (ii) they are based on operations analogous to forward/backward pass of neural networks layers and are therefore easily parallelizable, amenable to GPU implementation and able to take advantage of the convolutional structure of problems; and (iii) they allow for anytime stopping while still providing valid bounds. Empirically, we show that we obtain bounds comparable with off-the-shelf solvers in a fraction of their running time, and obtain tighter bounds in the same time as previous dual algorithms. This results in an overall speed-up when employing the bounds for formal verification. Code for our algorithms is available at https://github.com/oval-group/decomposition-plnn-bounds.

研究の動機と目的

• ニューラルネットワークの構造的性質を保ちながら、よりタイトでスケーラブルな双対緩和法を開発すること。
• GPU実装と並列化に適した、前向き/後向き伝搬に類似した最適化アルゴリズムを設計すること。
• 有効な境界を任意の反復時点で得られるようにして、実行時間とタイトさの間の柔軟なトレードオフを可能にすること。
• 分解を用いることで、従来のラグランジュ緩和法を改善し、より強い双対を得ること。
• 不完全検証および完全検証の両方の状況で、速度とタイトさのバランスを取った実用的な検証フレームワークを提供すること。

提案手法

• ニューラルネットワークの検証問題を混合整数計画問題として定式化し、層ごとの構造を活かしてラグランジュ分解を適用し、各ニューロンごとに部分問題に分割する。
• バックプロパゲーションに類似した演算により勾配を計算するスーパー勾配上昇アルゴリズムを導入し、効率的な並列処理を可能にする。
• 各部分問題を強い凸最適化問題として解くプロキシマルアルゴリズムを開発し、解析的に導かれた最適ステップサイズを用いる。
• 分解により双対問題を層ごとに逐次解くことができ、前向き・後向き伝搬に類似した処理を実現し、畳み込み構造の活用も可能になる。
• 両アルゴリズムとも任意の停止が可能である：任意の反復時点で有効な境界が得られ、実行時間とタイトさの間のトレードオフが可能になる。
• GPU上で実装され、1つのGPUで数百の境界を同時に計算可能であり、検証パイプラインの大幅な高速化が達成される。

実験結果

リサーチクエスチョン

• RQ1 ラグランジュ分解は、従来の緩和に基づく検証手法よりもタイトな双対境界を達成できるか？
• RQ2 双対最適化を、ニューラルネットワークの推論と誤差逆伝播に類似させることで、GPU計算に効率的に対応できるか？
• RQ3 提案されたアルゴリズムは任意の反復時点で有効な境界を提供できるか？これにより、速度と正確性の間の柔軟なトレードオフが可能か？
• RQ4 分解に基づく双対法は、汎用ソルバーよりも境界の質と実行時間の両面で優れているか？
• RQ5 この手法は、大規模なネットワークおよび同時に複数の検証特性を扱う際に効果的にスケーリングできるか？

主な発見

• 提案されたラグランジュ分解双対法は、Dvijothamら（2018）の結果と比較して、理論的にも同等以上にタイトな境界を達成し、実験的にも同じ時間内によりタイトな境界を示した。
• スーパー勾配法とプロキシマル法は、Gurobiなどの汎用ソルバーよりも同等または優れた境界を、はるかに短い時間で達成した。
• ベースモデルでは、プロキシマル法が平均で73.6秒（Gurobiの545.7秒）の解決時間を短縮し、平均1377.7個の部分問題を処理した。
• 難易度の高い検証問題では、プロキシマル法のタイムアウト率が21.83%であったのに対し、Gurobiは41.31%であった。これは、スケーラビリティの優位性を示している。
• この手法により、1つのGPUで数百の線形計画問題を同時に処理可能となり、CPUベースのシステムでは達成できない並列度が実現された。
• 不完全検証の状況でも、プロキシマル法はDSG+や他のベースラインを上回り、特に通常に訓練されたネットワークでは、1040反復後でもよりタイトな境界を達成した。