[論文レビュー] Neural Lyapunov Control

Ya-Chien Chang, Nima Roohi+1 more|arXiv (Cornell University)|May 1, 2020

Advanced Control Systems Optimization被引用数 131

ひとこと要約

誤り検証器を用いてニューラルコントローラとニューラルリャプノフ関数を falsifier とともに同時に調整して、非線形システムの全体安定性を証明し、引力域（ROA）を拡大する学習フレームワーク。証明可能な安定性保証と従来法より大きな ROA を提供します。

ABSTRACT

We propose new methods for learning control policies and neural network Lyapunov functions for nonlinear control problems, with provable guarantee of stability. The framework consists of a learner that attempts to find the control and Lyapunov functions, and a falsifier that finds counterexamples to quickly guide the learner towards solutions. The procedure terminates when no counterexample is found by the falsifier, in which case the controlled nonlinear system is provably stable. The approach significantly simplifies the process of Lyapunov control design, provides end-to-end correctness guarantee, and can obtain much larger regions of attraction than existing methods such as LQR and SOS/SDP. We show experiments on how the new methods obtain high-quality solutions for challenging control problems.

研究の動機と目的

• 証明可能な保証を伴って非線形動的システムを安定化させる課題に対処する。
• 局所線形化を行わず、コントロールポリシーとニューラルリャプノフ関数を共同に学習する。
• 安定性のエンドツーエンドの認証と拡張可能な ROA の向上を提供する。
• 厳密性のため delta-complete 制約解決を備えた学習者–反例探索ループを活用する。
• 複数のロボット工学ベンチマークにおいてより大きな ROA を実証する。

提案手法

• リャプノフ関数を tanh 活性化を持つ多層前向きニューラルネットワークとして表現し、コントロールポリシーと共同で学習する。
• リャプノフ条件の違反をペナルティするリャプノフリスクを最適化する: max(0,-V_theta(x)) + max(0, L_f_u V_theta(x)) + V_theta(0)^2。
• LQR 解から初期化したコントローラを用いてリャプノフリスクを最小化するために確率的勾配降下法を用いる。
• デルタ完備 SMT ソルバー(dReal)を用いて Phi_epsilon(x) を解くことによりリャプノフ条件に違反する状態 x を探索する反例探索器を採用する。
• 局所的に有効なリャプノフ関数へ学習を導くよう、反例を用いて訓練を反復的に補強する。
• 学習目的関数にレギュレーター項を追加して ROA を拡大するように調整を許す。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、局所的線形化を超えた非線形動力学に対して保証付きのリャプノフ関数を表現できるか？
• RQ2 共同学習されたコントローラとニューラルリャプノフ関数は、大きな ROA に対して証明可能な安定性を達成できるか？
• RQ3 反例探索ガイド付きカリキュラムは、安定性証明の学習を改善する反例を効果的に発見するか？
• RQ4 学習された ROA は、様々な非線形ロボットシステムにおいて LQR および SOS/SDP ベースラインと比較してどのようか？
• RQ5 目的関数の調整によって安定性保証と領域サイズを柔軟にトレードオフできるか？

主な発見

Learning time	Falsification time	# samples	# iterations	ε
Inverted Pendulum	25.5	0.6	500	430	0.04
Path Following	36.3	0.2	500	610	0.01
Caltech Ducted Fan	1455.16	50.84	1000	3000	0.01
2-Link Balancing	6000	458.27	1000	4000	0.01

• このフレームワークは、複数の非線形ロボティクス問題において、LQRおよびSOS/SDP ベースラインより大きな ROA を持つ、証明可能な安定性を有するコントローラを提供する。
• 提案されたリスクと反証ループで学習されたニューラルリャプノフ関数は、安定性が認証されるとリャプノフリスクがゼロに収束する。
• Delta-complete SMT 解法(dReal) はリャプノフ条件に対する厳密な UNSAT 保証を提供し、原点のごく小さな ε-ボールを除いて完全な認証を可能にする。
• ROA は学習目的を変更して半径とともにリャプノフ関数の成長を促すことで積極的に拡大できることを、実験でより大きな ROA で示した。
• 実行時間統計の比較は、倒立振子、軌道追従、Caltech ダクト付きファン、2リンクバランス問題において意味のある学習と反証の時間を達成していることを示す。
• 学習済みコントローラは、初期の LQR 初期化より振動低減と安定性向上においてしばしば優れている。