[論文レビュー] Output Range Analysis for Deep Neural Networks

Souradeep Dutta, Susmit Jha+2 more|arXiv (Cornell University)|Sep 26, 2017

Adversarial Robustness in Machine Learning参考文献 10被引用数 75

ひとこと要約

本論文は、前方伝播 ReLU ネットワークの凸入力集合上で保証された出力範囲を計算するための、局所探索と MILP ベースのハイブリッド手法 Sherlock を紹介し、合成データと実世界の検証シナリオにおける Reluplex との比較を行う。

ABSTRACT

Deep neural networks (NN) are extensively used for machine learning tasks such as image classification, perception and control of autonomous systems. Increasingly, these deep NNs are also been deployed in high-assurance applications. Thus, there is a pressing need for developing techniques to verify neural networks to check whether certain user-expected properties are satisfied. In this paper, we study a specific verification problem of computing a guaranteed range for the output of a deep neural network given a set of inputs represented as a convex polyhedron. Range estimation is a key primitive for verifying deep NNs. We present an efficient range estimation algorithm that uses a combination of local search and linear programming problems to efficiently find the maximum and minimum values taken by the outputs of the NN over the given input set. In contrast to recently proposed "monolithic" optimization approaches, we use local gradient descent to repeatedly find and eliminate local minima of the function. The final global optimum is certified using a mixed integer programming instance. We implement our approach and compare it with Reluplex, a recently proposed solver for deep neural networks. We demonstrate the effectiveness of the proposed approach for verification of NNs used in automated control as well as those used in classification.

研究の動機と目的

• 安全性が要求される状況と頑健性の文脈でニューラルネットワークの保証された出力範囲の必要性を動機づける。
• コンパクトな入力ポリヘドラに対してフィードフォワード ReLU ネットワークの範囲推定問題を定義する。
• 出力の上限/下限を認定するために、勾配ベースの局所探索と MILP ベースのグローバル探索を組み合わせたハイブリッドアルゴリズムを提案する。

提案手法

• ネットワークを線形写像と ReLU アクティベーションの組合せとして、局所的に分岐する連続的なグローバル関数 F として表現する。
• 局所的に活性な領域内での局所探索（勾配上昇/下降）を一連の上昇/下降検索として定式化し、グローバルな改善のために MILP の適合性チェックと結びつける。
• ReLU の非線形性をグローバル探索内でバイナリ変数として混合整数計画法にエンコードし、入力ポリヘドラ P 内でより高い出力が存在するかを検証する。
• アルゴリズムが停止し近似保証を与えることを証明する：アルゴリズムは δ (デルタ) の公差内での境界を返し、u* ≤ u ≤ u*+δ を保証する。
• Sherlock ツールで実装し、Synthetic ネットワークと制御および MNIST スタイルの分類タスクを含むベンチマークで Reluplex と比較する。
• バックプロパゲーション風の連鎖律による勾配計算と、局所的に活性な領域を利用した線形計画法ベースの上昇ステップを解説する。

実験結果

リサーチクエスチョン

• RQ1 凸な入力ポリヘドラ上で深い ReLU ネットワークの厳密で保証された出力範囲を計算できるか？
• RQ2 ハイブリッドな局所探索＋MILP アプローチは、範囲推定のための純粋なモノリシック最適化手法より優れているか？
• RQ3 数百から千のニューロンを持つネットワークに対して精度と実用性を保ったままスケールできるか？
• RQ4 この方法は制御指向のネットワークと画像分類の頑健性分析の両方に適用可能か？
• RQ5 さまざまなネットワークのスパーシティとサイズにおける解決 instance、速度、および頑健性の点で Sherlock は Reluplex とどう比較されるか？

主な発見

• Sherlock は局所的な活性領域内での局所的勾配上昇と MILP ベースのグローバル探索を組み合わせて、δ の公差を持つ出力範囲を認定する。
• 方法は真の最大値と δ の差がある上限で終了し、u* ≤ u ≤ u*+δ を保証する。
• Sherlock は実験で約 1500 ニューロン程度のネットワークへのスケーラビリティを示し、多くのランダムおよびベンチマーク实例で Reluplex より優れている。
• 実例的な応用で、 Sherlock は非線形プラントモデルの厳密な制御入力範囲を導出し、MNIST 風の分類器で perturbation によるラベル変化を特定でき、頑健性分析を支援する。
• 実証的結果は、ネットワークのスパース性と総ニューロン数が性能に実質的な影響を与えることを示唆しており、密で大規模なネットワークは両手法にとって依然として難しいものの、Sherlock は与えられたタイムアウト内でより頻繁に成功する。