[論文レビュー] Reachability Analysis and Safety Verification for Neural Network Control Systems

Weiming Xiang, Taylor T. Johnson|arXiv (Cornell University)|May 25, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用数 42

ひとこと要約

この論文は、前方伝播ニューラルネットワークコントローラの出力を過大評価するLPベースの手法を開発し、それをODE到達性と組み合わせてニューラルネットワーク制御システムの安全性を検証する。

ABSTRACT

Autonomous cyber-physical systems (CPS) rely on the correct operation of numerous components, with state-of-the-art methods relying on machine learning (ML) and artificial intelligence (AI) components in various stages of sensing and control. This paper develops methods for estimating the reachable set and verifying safety properties of dynamical systems under control of neural network-based controllers that may be implemented in embedded software. The neural network controllers we consider are feedforward neural networks called multilayer perceptrons (MLP) with general activation functions. As such feedforward networks are memoryless, they may be abstractly represented as mathematical functions, and the reachability analysis of the network amounts to range (image) estimation of this function provided a set of inputs. By discretizing the input set of the MLP into a finite number of hyper-rectangular cells, our approach develops a linear programming (LP) based algorithm for over-approximating the output set of the MLP with its input set as a union of hyper-rectangular cells. Combining the over-approximation for the output set of an MLP based controller and reachable set computation routines for ordinary difference/differential equation (ODE) models, an algorithm is developed to estimate the reachable set of the closed-loop system. Finally, safety verification for neural network control systems can be performed by checking the existence of intersections between the estimated reachable set and unsafe regions. The approach is implemented in a computational software prototype and evaluated on numerical examples.

研究の動機と目的

• ニューラルネットワーク制御器によって支配される動的システムの安全性の懸念を動機づけ、形式化する。
• 有界入力を与えられたときのMLP出力を過大評価する実用的な方法を開発する。
• ニューラルネットワーク到達性をプラントの到達集合計算と統合して、閉ループ到達性を推定する。
• 危険領域との交差を検査することによる安全性検証手順を提供する。

提案手法

• 前向きMLPを用いてニューラルネットワークを数学的関数として表現する。
• ニューラルネットワーク入力空間をハイパー長方形の集合の合併（ハイパーレクタングル集合）に離散化する。
• 各ハイパー長方形に対する出力推定を、活性化関数の単調性仮定の下で線形計画法（LP）問題へ変換する。
• 入力の過大評価を層ごとにMLP方式でネットワーク層を伝搬させ、出力の過大評価を得る。
• MLP出力の過大評価をODE/差分方程式の到達性法と組み合わせて、一定の時間区間にわたる閉ループ到達集合を推定する。
• 推定到達集合と安全でない領域の非交叉を検証する形で安全性検証を定式化する。）

実験結果

リサーチクエスチョン

• RQ1 有界な入力から出発して、一般的な活性化関数を持つMLPの出力集合をどのように過大評価できるか？
• RQ2 MLP出力の過大評価を複数の層を通して伝搬させ、全体的に緊密な境界を得るにはどうすればよいか？
• RQ3 MLP到達性と従来のプラント到達性を結合して、ニューラルネットワーク制御プラントを分析し、閉ループ到達集合を推定するにはどうすればよいか？
• RQ4 計算された過大評価を用いて unsafe領域との交差を検証する条件下で、安全性を検証できるのはどのような条件か？

主な発見

• 一般的な活性化関数を持つMLPの出力集合を過大評価するLPベースのアルゴリズムを開発した。
• 層ごとのアプローチにより、単一層のLP結果を多層ネットワークへ適用できるようになる。
• この方法は、MLP到達性とODE/差分方程式到達性を組み合わせて、閉ループ到達集合の計算可能な過大評価を生成する。
• 推定到達集合と unsafe regions の交差を検証する安全性検証手順を提供する。
• 計算プロトタイプが実装され、適用性を示す数値例で評価されている。