[論文レビュー] Reach-SDP: Reachability Analysis of Closed-Loop Systems with Neural Network Controllers via Semidefinite Programming

Haimin Hu, Mahyar Fazlyab+2 more|arXiv (Cornell University)|Apr 16, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 6

ひとこと要約

本稿では、ニューラルネットワーク制御器を備えた閉ループにおける線形時変動系の前方到達可能性解析のための新規な半定形式計画（SDP）に基づく手法、Reach-SDPを提案する。非線形活性化関数と射影演算子を二次的制約（QC）を用いて抽象化することで、到達集合の外部近似を計算し、有限時間内での安全性と制約満足の検証を可能にする。本手法は、このような系に対して初めての凸最適化アプローチであり、二重積分器と6次元ドロノーターのモデルを用いて検証された。

ABSTRACT

There has been an increasing interest in using neural networks in closed-loop control systems to improve performance and reduce computational costs for on-line implementation. However, providing safety and stability guarantees for these systems is challenging due to the nonlinear and compositional structure of neural networks. In this paper, we propose a novel forward reachability analysis method for the safety verification of linear time-varying systems with neural networks in feedback interconnection. Our technical approach relies on abstracting the nonlinear activation functions by quadratic constraints, which leads to an outer-approximation of forward reachable sets of the closed-loop system. We show that we can compute these approximate reachable sets using semidefinite programming. We illustrate our method in a quadrotor example, in which we first approximate a nonlinear model predictive controller via a deep neural network and then apply our analysis tool to certify finite-time reachability and constraint satisfaction of the closed-loop system.

研究の動機と目的

• ニューラルネットワーク制御器を備えた閉ループ系における形式的でない安全性および安定性の保証の欠如に対処すること。
• 非線形性と制御制約を扱えるスケーラブルで凸最適化に基づく到達可能性解析手法を開発すること。
• ニューラルネットワーク制御ダイナミクス系における安全性および制約満足の有限時間検証を可能にすること。
• 射影演算子およびセクターベアド/スロープ制限非線形性を有する系への到達可能性解析を拡張すること。
• 複雑な非線形制御系に対して、正確な到達可能性手法の計算的に実行可能な代替手段を提供すること。

提案手法

• 非線形活性化関数と制御射影演算子を二次的制約（QC）として抽象化することで、システムのダイナミクスの凸緩和を可能にする。
• 到達集合の計算を半定形式計画（SDP）として定式化し、S手続きと同型変換を用いてシステム構造を保持する。
• ニューラルネットワークの入出力挙動を表すために、状態、活性化、制御変数を組み合わせた基底ベクトルを用いる。
• セクター制限およびスロープ制限非線形性条件を適用し、ReLUなどの活性化関数の挙動を凸制約内で束縛する。
• 反復的なフローパイプ構築や区分的多項式近似を回避するため、単一のSDPを解くことで前方到達集合の外部近似を計算する。
• 線形時変動ダイナミクスおよび凸制約（状態制限およびアクチュエータ制限を含む）に従う制御入力を扱える。

実験結果

リサーチクエスチョン

• RQ1 二次的制約を用いて、ニューラルネットワーク制御器における非線形活性化関数と射影演算子を抽象化し、凸到達可能性解析を可能にすることができるか？
• RQ2 半定形式計画をどのように活用して、ニューラルネットワーク制御器を備えた閉ループ系における到達集合の外部近似を計算できるか？
• RQ3 本手法の正確性とスケーラビリティは、正確な手法や区分的多項式手法と比較して、安全性および制約満足の検証においてどの程度であるか？
• RQ4 本手法は、複雑な非線形ダイナミクスと制御制約を有する系において、有限時間の到達可能性および制約満足を検証できるか？
• RQ5 本手法は、学習された制御器を備えたドロノーターなどの実世界の制御系にどの程度応用可能か？

主な発見

• Reach-SDPは、二重積分器系について、楕円体集合に属するすべての初期状態が1秒以内に目的領域に到達し、状態制約を満たすことを確認した、前方到達集合の外部近似を効果的に計算した。
• 6次元ドロノーター・モデルでは、楕円体集合 𝒳₀ に属するすべての初期状態が、(px, py, pz)-空間内において1秒以内に目的集合 𝒢 に到達し、状態制約およびアクチュエータ制約を満たすことを検証した。
• 正確なシステムモデルを必要とせず、非線形MPC制御器を近似する学習済みニューラルネットワーク方策に依存することで、検証を実現した。
• 計算された到達集合は、真の到達集合を外部近似しており、図3および図4の可視化比較により、保守的ではあるが妥当な過剰近似であることが確認された。
• 本手法は、複雑な制御制約と非線形ダイナミクスを有する高次元系（6次元ドロノーター）においてもスケーラビリティと計算上の実行可能性を示した。
• 本手法は、ニューラルネットワーク制御器を備えた閉ループ系の到達可能性解析における初めての凸最適化ベースの手法であり、学習制御方策の形式的検証への大きな一歩を示している。