[論文レビュー] Learning Lyapunov Functions for Piecewise Affine Systems with Neural Network Controllers

Shaoru Chen, Mahyar Fazlyab+3 more|arXiv (Cornell University)|Aug 14, 2020

Fault Detection and Control Systems参考文献 73被引用数 14

ひとこと要約

本稿では、ReLUニューラルネットワークで制御される離散時間の区分的アフィン（PWA）システムに対して、2次および区分的2次なラプラウンフの関数を合成する反復的学習ベースの手法を提案する。本手法は、解析的中心カットプレーン法（ACCPM）に基づく学習者-検証者フレームワークを用い、学習者がサンプルされた軌道からラプラウンフ候補を提示し、検証者が混合整数プログラミング（MIP）を用いて候補の妥当性を確認または拒否する。これは、パrameter空間におけるラプラウンフ集合がフル次元的である場合に有限収束を保証する。

ABSTRACT

We propose a learning-based method for Lyapunov stability analysis of piecewise affine dynamical systems in feedback with piecewise affine neural network controllers. The proposed method consists of an iterative interaction between a learner and a verifier, where in each iteration, the learner uses a collection of samples of the closed-loop system to propose a Lyapunov function candidate as the solution to a convex program. The learner then queries the verifier, which solves a mixed-integer program to either validate the proposed Lyapunov function candidate or reject it with a counterexample, i.e., a state where the stability condition fails. This counterexample is then added to the sample set of the learner to refine the set of Lyapunov function candidates. We design the learner and the verifier based on the analytic center cutting-plane method, in which the verifier acts as the cutting-plane oracle to refine the set of Lyapunov function candidates. We show that when the set of Lyapunov functions is full-dimensional in the parameter space, the overall procedure finds a Lyapunov function in a finite number of iterations. We demonstrate the utility of the proposed method in searching for quadratic and piecewise quadratic Lyapunov functions.

研究の動機と目的

• ニューラルネットワーク制御システムにおける安定性および安全性の保証の欠如に取り組むこと、特に安全が求められる応用分野において。
• ReLUニューラルネットワークコントローラを備えたPWAシステムに対して、非保守的なラプラウンフ関数の自動構築を実現すること。
• サンプル効率的で最適化ベースの手法を開発し、有限収束保証付きの形式的安定性証明を提供すること。
• 反復的検証を用いて、2次および区分的2次ラプラウンフ関数を用いて、大きな吸引域（ROA）を推定する手法の有効性を示すこと。

提案手法

• 本手法は学習者-検証者ループを採用する：学習者は有限個のサンプルされた閉ループ軌道を用いて凸最適化によりラプラウンフ関数候補を提示する。
• 検証者は混合整数プログラミング（MIP）を用いて、候補となるラプラウンフ関数が状態空間全域で安定性条件を満たすかどうかを確認する。
• 検証者が反例（ラプラウンフ条件を違反する状態）を発見した場合、その状態を学習者に返して候補集合を精緻化する。
• 学習者は検証者をカットプレーンオракルとして扱い、解析的中心カットプレーン法（ACCPM）を用いてラプラウンフ候補集合を更新する。
• アルゴリズムは、有効なラプラウンフ関数の集合がパrameter空間でフル次元的である場合に有限ステップで収束するように設計されている。
• 本手法は2次および区分的2次ラプラウンフ関数の探索に適用され、弾性壁を備えた倒立振子系を用いて性能が評価された。

実験結果

リサーチクエスチョン

• RQ1 ReLUニューラルネットワークコントローラを備えたPWAシステムに対して、学習ベースの手法が形式的安定性保証を満たしつつ、効率的にラプラウンフ関数を合成できるか。
• RQ2 学習者と検証者の間の相互作用をどのように構造化すれば、ラプラウンフ関数合成において有限収束を達成できるか。
• RQ3 区分的2次ラプラウンフ関数は、2次関数と比較して、吸引域（ROA）推定における保守性をどの程度低減できるか。
• RQ4 本手法は、機械的システムにおける接触イベントに起因するような複雑なハイブリッドダイナミクスを処理できるか。

主な発見

• ACCPMベースのアルゴリズムは、2次ラプラウンフ関数を用いて10回の反復で有限収束を達成し、基準集合の0.81倍の吸引域推定値を得た。全Solver時間は9.928秒であった。
• 区分的2次（PWQ）ラプラウンフ関数を用いた場合、アルゴリズムは9回の反復で終了し、基準集合の1.0倍のより大きなROA推定値を得た。これは保守性の低減を示している。
• PWQ合成の全Solver時間は124.210秒であり、高次関数クラスの計算コストの増加を反映している。
• シミュレートされた閉ループ軌道により、推定されたROAの正しさと保守性が検証され、安定性証明の妥当性が確認された。
• 本手法は、原点の周囲の半径ε=0.0158の球内における閉ループシステムの漸近的安定性を正当に証明した。
• 結果から、PWQラプラウンフ関数は2次関数と比較して、ROA推定値をより非保守的に行うことができ、ラプラウンフ解析における区分的構造の利点が明確に示された。