[論文レビュー] Reachable Set Computation and Safety Verification for Neural Networks with ReLU Activations

Weiming Xiang, Hoang-Dung Tran+1 more|arXiv (Cornell University)|Dec 21, 2017

Adversarial Robustness in Machine Learning参考文献 15被引用数 70

ひとこと要約

本論文は ReLU ニューラルネットワークに対して層ごとに正確な出力到達集合を計算する方法を開発し、それを多面体の和集合として表現し、未安全な出力領域に対する安全検証に用いる。

ABSTRACT

Neural networks have been widely used to solve complex real-world problems. Due to the complicate, nonlinear, non-convex nature of neural networks, formal safety guarantees for the output behaviors of neural networks will be crucial for their applications in safety-critical systems.In this paper, the output reachable set computation and safety verification problems for a class of neural networks consisting of Rectified Linear Unit (ReLU) activation functions are addressed. A layer-by-layer approach is developed to compute output reachable set. The computation is formulated in the form of a set of manipulations for a union of polyhedra, which can be efficiently applied with the aid of polyhedron computation tools. Based on the output reachable set computation results, the safety verification for a ReLU neural network can be performed by checking the intersections of unsafe regions and output reachable set described by a union of polyhedra. A numerical example of a randomly generated ReLU neural network is provided to show the effectiveness of the approach developed in this paper.

研究の動機と目的

• 安全 critical システムにおけるニューラルネットワークの形式的な安全保証の動機づけ。
• ReLU 活性化を持つネットワークの出力到達集合を層ごとに計算する方法を開発。
• 到達集合を多面体の和集合として表現し、正確な安全検証を可能にする。
• 到達集合と未安全領域の交差を検査することで安全検証を実現する。

提案手法

• ReLU 活性化を持つ多層パーセトロンとしてニューラルネットワークをモデル化し、層の写像を表現する。
• ReLU 出力集合は正、零、混合の3つのケースに分解でき、結果として多面体の和集合になることを示す。
• 各層の出力集合を多面体の和集合として閉形式で構成する。
• 単一層の結果を再帰的に組み合わせて多層ネットワークへ拡張し、多面体和集合の構造を保つ。
• 安全検証を、到達集合と未安全領域の交差の空であることを検査する問題として定式化する。
• 出力到達集合計算、ReLU ネットワーク到達性、 VeriReLU ネットワーク検証のアルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 ReLU ニューラルネットワークの入力集合が polyhedra の和集合として与えられるとき、出力到達集合はどのように計算できるか。
• RQ2 レイヤー間でポリヒドラムの和集合として正確に特徴づけられるか。安全検証に対して sound な表現を維持できるか。
• RQ3 出力到達集合と未安全領域の交差を検査することによって安全検証をどう実行するか。
• RQ4 ネットワーク全体で扱いやすいポリヘドラル表現を維持するための層ごとの制約と変換は何か。
• RQ5 単一の ReLU ユニットから多層ネットワークへこのアプローチをどう拡張するか。

主な発見

• ReLU の出力は正のケース、ゼロのケース、混合の3ケースとして正確に特徴づけられ、到達集合は多面体の和集合になる。
• 入力集合を多面体の和集合として記述すると、ReLU の出力到達集合も各ブランチで多面体の和集合になる。
• 層ごとに伝播させることで多面体和集合の構造を保持し、ネットワーク全体の正確な到達性を可能にする。
• 安全検証は出力到達集合と未安全領域の交差を検査することに還元され、正確な到達性によって健全な結論が保証される。
• この枠組みは多層のネットワークへ一般化でき、同じ形式で線形（ReLU 以外）の層も扱える。