[論文レビュー] A Unified View of Piecewise Linear Neural Network Verification

Rudy Bunel, Ilker Turkaslan+3 more|arXiv (Cornell University)|Nov 1, 2017

Adversarial Robustness in Machine Learning被引用数 141

ひとこと要約

本論文は既存のPL-NN検証手法をブランチアンドバウンド枠組みに統合し、ベンチマークを導入し、従来の最先端より約2桁の速度向上をもたらす新しいアルゴリズム改善を示す。

ABSTRACT

The success of Deep Learning and its potential use in many safety-critical applications has motivated research on formal verification of Neural Network (NN) models. Despite the reputation of learned NN models to behave as black boxes and the theoretical hardness of proving their properties, researchers have been successful in verifying some classes of models by exploiting their piecewise linear structure and taking insights from formal methods such as Satisifiability Modulo Theory. These methods are however still far from scaling to realistic neural networks. To facilitate progress on this crucial area, we make two key contributions. First, we present a unified framework that encompasses previous methods. This analysis results in the identification of new methods that combine the strengths of multiple existing approaches, accomplishing a speedup of two orders of magnitude compared to the previous state of the art. Second, we propose a new data set of benchmarks which includes a collection of previously released testcases. We use the benchmark to provide the first experimental comparison of existing algorithms and identify the factors impacting the hardness of verification problems.

研究の動機と目的

• 既存のPL-NN検証手法を包含する統一的な枠組みを提供する。
• 検証アルゴリズムを比較するためのベンチマークデータセットを作成・拡張する。
• 境界、分割、および探索戦略のアルゴリズム的改善を特定・検証する。
• 複数アプローチの長所を組み合わせることで検証を加速することを示す。
• PL-NN検証性能を向上させるための実践的なガイダンスを提供する。

提案手法

• PL-NN検証をブランチアンドバウンド（BaB）を通じたグローバル最適化問題として再定式化する。
• Reluplex、Planet、MIP などの既存手法がBaB枠組みの特別なケースであることを示す。
• 分割・界化戦略の異なるいくつかのBaB変種を開発・比較する。
• 層ごとの凸緩和や再構築によるより厳密な緩和を含む、改善された境界計算を提案する。
• 高速な対偶境界に基づくBaB-inputによる入力ドメイン分岐と、より賢い分岐BaBSBを導入する。
• ベンチマークデータセットでの実験結果を提供し、効率向上を定量化する。

実験結果

リサーチクエスチョン

• RQ1 統一されたブランチアンドバウンド枠組みは従来のPL-NN検証手法を包含できるか？
• RQ2 どの要因（境界の品質、分岐戦略、ドメイン分割）が検証の難易度と実行時間に最も影響を与えるか？
• RQ3 PL-NNの境界を狭める際、さまざまな緩和技術はどう比較されるか？
• RQ4 SMTベース、MIPベース、およびBaBベースの検証手法の長所と限界を明らかにするベンチマークはどんなものか？

主な発見

手法	ノードを探索する平均時間（s）
BaBSB	1.81
BaB	2.11
reluBaB	1.69
reluplex	0.30
MIPplanet	0.017
planet	0.0015

• 統一されたBaB枠組みは従来の手法を包含し、従来の最先端より大幅な速度向上を実現する（ケースによってほぼ2桁のオーダー）。
• スマートな分岐と各ステップで緩和を再構築してより厳密にする（relu-splitを用いたBaBSB）は、探索されるサブドメインの数を劇的に削減する。
• Reluplex、Planet、MIPplanetは浅いネットワークで非常に高速に動作するが、BaBSBはより深いネットワーク（例：ACAS）で実用的な時間内により高い成功率を達成する。
• 入力ドメイン分岐（BaB-input）と高速な下界を伴うアプローチは、プルーニング効率をさらに高める可能性がある。
• 各分割後に凸緩和を再構築すると、特に深いネットワークに対して下界が大幅に厳密になる。
• 導入されたPCAMNISTベースのベンチマークは、検証性能を研究するためのアーキテクチャの制御された変化を提供する。