[論文レビュー] Branch and Bound for Piecewise Linear Neural Network Verification

Rudy Bunel, Jingyue Lu+4 more|arXiv (Cornell University)|Sep 14, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 41

ひとこと要約

本論文は、piecewise-linear neural networks の検証のための Branch-and-Bound フレームワークを提案し、既存の手法を統合するとともに、特に畳み込みアーキテクチャに対して新しい分岐および境界戦略を提供します。

ABSTRACT

The success of Deep Learning and its potential use in many safety-critical applications has motivated research on formal verification of Neural Network (NN) models. In this context, verification involves proving or disproving that an NN model satisfies certain input-output properties. Despite the reputation of learned NN models as black boxes, and the theoretical hardness of proving useful properties about them, researchers have been successful in verifying some classes of models by exploiting their piecewise linear structure and taking insights from formal methods such as Satisifiability Modulo Theory. However, these methods are still far from scaling to realistic neural networks. To facilitate progress on this crucial area, we exploit the Mixed Integer Linear Programming (MIP) formulation of verification to propose a family of algorithms based on Branch-and-Bound (BaB). We show that our family contains previous verification methods as special cases. With the help of the BaB framework, we make three key contributions. Firstly, we identify new methods that combine the strengths of multiple existing approaches, accomplishing significant performance improvements over previous state of the art. Secondly, we introduce an effective branching strategy on ReLU non-linearities. This branching strategy allows us to efficiently and successfully deal with high input dimensional problems with convolutional network architecture, on which previous methods fail frequently. Finally, we propose comprehensive test data sets and benchmarks which includes a collection of previously released testcases. We use the data sets to conduct a thorough experimental comparison of existing and new algorithms and to provide an inclusive analysis of the factors impacting the hardness of verification problems.

研究の動機と目的

• MIP/BaB フレームワークを用いてニューラルネットワーク検証をグローバル最適化問題として形式化する。
• 既存の検証手法の長所と短所を特定し、それらを BaB の下で統合する。
• 特に畳み込みネットワークにおける ReLU に対する新しい分岐戦略を開発し、スケーラビリティを向上させる。
• 畳み込みモデルと合成モデルを含む包括的なデータセットを提案し、堅牢なベンチマークを可能にする。
• 検証問題の難易度要因を理解するため、既存手法と提案手法を評価・比較する。

提案手法

• 検証を、最小値の符号判定へ還元される標準表現を用いてグローバル最適化問題として定式化する。
• ReLU および他の層を big-M 制約を用いた MIP でエンコードし、区間伝播から境界を導出する。
• 分岐、境界計算、剪定を交互に行い、許容誤差 epsilon 内でグローバル最小値へ収束させる一般的な BaB アルゴリズムを提示する。
• 多くの既存手法（Reluplex、Planet など）が BaB フレームワークの特殊ケースとして適合することを示す。
• 洗練された中間界の境界と凸緩和を用いた改良された境界付けを提案し、緩和をより厳密化する。
• 高次元および畳み込みアーキテクチャに対応するため、ネットワーク構造を活用した新しい ReLU 中心の分岐戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 BaB 最適化問題としての検証をどのように定義し、既存手法間に共通点は何か。
• RQ2 高次元ネットワーク、特に畳み込みアーキテクチャをスケールさせるためのBaB における効果的な分岐と境界戦略は何か。
• RQ3 より厳密な緩和と境界の改良は検証タスクの実証的な高速化に有意な効果をもたらすか。
• RQ4 畳み込みおよび合成ネットワークを含む新しいデータセットはベンチマークと検証の難しさの理解にどう影響するか。
• RQ5 統一された BaB フレームワークは、既存のアプローチの長所を組み合わせることで改善をもたらすことを示せるか。

主な発見

• BaB フレームワークは以前の検証手法を特殊ケースとして包含し、それらの長所を組み合わせることを可能にする。
• ReLU 非線形性に対する新しい分岐戦略は、高次元および畳み込みネットワークでの性能を改善する。
• より厳密な凸緩和と周期的な中間境界の改良は、境界計算を大幅に高速化し、剪定をより速く実現できる。
• 畳み込みネットワークと合成モデルを含む包括的なデータセットは、検証の難しさのベンチマークと分析を支援する。
• このアプローチは、ベンチマーク問題において従来の最先端手法よりも実質的なスピードアップを達成しており、いくつかのケースでほぼ二桁のスケールで言及される。