[論文レビュー] Reachable Set Estimation and Safety Verification for Piecewise Linear Systems with Neural Network Controllers

Weiming Xiang, Hoang-Dung Tran+2 more|arXiv (Cornell University)|Feb 20, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用数 9

ひとこと要約

本稿では、ReLUニューラルネットワーク制御系を備えた区分線形システムの出力到達可能集合を推定する段階的ポリトープベース手法を提案する。到達可能集合の計算を、ポリトープの和集合に対する演算として定式化することにより、閉ループ系における有限時間の到達可能集合推定と、不安全領域との積集合チェックによる安全確認検証が可能となる。数値例において、[0,5]では安全が検証されたが、[0,10]では不確実性が生じた。

ABSTRACT

In this work, the reachable set estimation and safety verification problems for a class of piecewise linear systems equipped with neural network controllers are addressed. The neural network is considered to consist of Rectified Linear Unit (ReLU) activation functions. A layer-by-layer approach is developed for the output reachable set computation of ReLU neural networks. The computation is formulated in the form of a set of manipulations for a union of polytopes. Based on the output reachable set for neural network controllers, the output reachable set for a piecewise linear feedback control system can be estimated iteratively for a given finite-time interval. With the estimated output reachable set, the safety verification for piecewise linear systems with neural network controllers can be performed by checking the existence of intersections of unsafe regions and output reach set. A numerical example is presented to illustrate the effectiveness of our approach.

研究の動機と目的

• 神経ネットワークが通常ブラックボックスとして扱われ、予測不能な挙動を示すため、区分線形システムにおける形式的で安全確認検証の課題に取り組む。
• 入力摂動下でも形式的保証が欠如している神経ネットワーク制御系の課題を克服し、閉ループ系における到達可能性解析を可能にする。
• まず、ReLUニューラルネットワーク制御系の出力到達可能集合を推定することで、全体の閉ループ系の到達可能集合を計算的に実行可能な方法で推定する。
• 推定された到達可能集合と事前に定義された不安全領域との積集合チェックにより、安全確認検証を実現する。
• 凸包過近似と多面体演算を用いて、神経ネットワーク制御系を備えたハイブリッドシステムにおける安全確認検証の体系的フレームワークを構築する。

提案手法

• ReLUニューラルネットワークの出力到達可能集合の計算を、各層の出力を多面体の和集合として扱う多面体操作の逐次的列に定式化する。
• 各層の出力の到達可能集合を計算するために、凸包過近似を用い、保守的ではあるが計算的に実行可能な推定を保証する。
• 線形変換と活性化制約を用いて、各ReLU層を介した入力不確実性集合の段階的伝播を実行する。
• 推定されたニューラルネットワークの到達可能集合を閉ループ区分線形システムのダイナミクスに統合し、有限時間区間における全体のシステム到達可能集合を計算する。
• 前回の到達可能集合に系のダイナミクスを繰り返し適用することで、閉ループ系の有限区間到達可能集合を推定する。この際、過近似を維持するために凸包を用いる。
• 推定された到達可能集合と不安全領域との積集合チェックにより安全確認検証を実施する。積集合が空であれば、安全であると結論づける。

実験結果

リサーチクエスチョン

• RQ1 ReLUニューラルネットワーク制御系の出力到達可能集合を、閉ループ系解析に用いるために、効率的かつ保守的に計算する方法は何か？
• RQ2 多面体演算を用いて、ReLUニューラルネットワーク制御系を備えた区分線形系の到達可能集合を有限時間区間で推定できるか？
• RQ3 ニューラルネットワーク制御系の到達可能集合と、全体の閉ループ系の到達可能集合との関係は何か？
• RQ4 到達可能集合推定を用いて、このようなハイブリッド系における形式的で安全確認検証をどのように実施できるか？
• RQ5 シミュレーション軌道が不安全領域に入らなくても、提案手法は潜在的な不安全行動をどれほど検出できるか？

主な発見

• 提案手法は、段階的ポリトープ操作フレームワークを用いて、ReLUニューラルネットワーク制御系の出力到達可能集合を成功裏に計算し、保守的な過近似を実現した。
• 閉ループ区分線形系の到達可能集合は、有限時間区間[0,5]および[0,10]で推定され、凸包に基づく過近似は400本のシミュレーテッド軌道をすべてカバーした。
• 安全確認検証の結果、||x - [4,4]^T||_∞ ≤ 1で定義される不安全領域との積集合が空であったため、[0,5]ではシステムが安全であると確認された。
• [0,10]では、推定された到達可能集合が不安全領域と交差しており、シミュレーション軌道が不安全領域に入らなかったにもかかわらず、安全保証はできないことが示された。
• この手法は、シミュレーションだけでは見過ごされがちな潜在的な安全リスクを明らかにし、安全が重要な制御系における形式的到達可能集合推定の価値を示した。
• 2層ネットワークと4つの隠れニューロンを有する数値例により、ReLUベースの神経ネットワーク制御系を備えたシステムにおいて、本手法が計算的に実行可能でスケーラブルであることが示された。