[論文レビュー] Neural Certificates for Safe Control Policies

Wanxin Jin, Zhaoran Wang+2 more|arXiv (Cornell University)|Jun 15, 2020

Fault Detection and Control Systems参考文献 18被引用数 43

ひとこと要約

論文はニューラルバリアとリャプノフ様証明を組み合わせてポリシーを同時に学習し、動的システムの安全性とゴール到達を保証する手法を提案し、振り子、カートポール、車両経路追従、無人航空機で実証する。

ABSTRACT

This paper develops an approach to learn a policy of a dynamical system that is guaranteed to be both provably safe and goal-reaching. Here, the safety means that a policy must not drive the state of the system to any unsafe region, while the goal-reaching requires the trajectory of the controlled system asymptotically converges to a goal region (a generalization of stability). We obtain the safe and goal-reaching policy by jointly learning two additional certificate functions: a barrier function that guarantees the safety and a developed Lyapunov-like function to fulfill the goal-reaching requirement, both of which are represented by neural networks. We show the effectiveness of the method to learn both safe and goal-reaching policies on various systems, including pendulums, cart-poles, and UAVs.

研究の動機と目的

• 動的システムのポリシー学習における安全性とゴール到達性の必要性を動機づける。
• 安全性とゴール到達性を厳密に定義し、それらを安定性と最適性と区別する。
• 安全性と収束性を証明するためのニューラルネットワーク証明書（バリアとリャプノフ様）を開発する。
• ポリシーと証明書を共同で学習し、複数の非線形システムで検証する。

提案手法

• バリア関数 B(x) を出力が微分可能なニューラルネットワークとして表現する。
• リャプノフ様関数 V(x) をニューラルネットワークとして表現する（二次形式により非負に）。
• バリア/リャプノフ様証明書損失を定義し、3つのバリア条件とリャプノフ条件を組み込む。
• ニューラルポリシーと証明書ネットワークを同時に最適化して、総証明書損失を最小化する。
• 離散化された状態サンプルに対して学習済み証明書を検証するステップを含める。
• 振り子、カートポール、車両経路追従、無人航空機を含む非線形系に手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 安全でない集合に対して安全性を保ちつつ、目標集合へのゴール到達性を達成するポリシーは作れるか？
• RQ2 バリアおよびリャプノフ様証明書をニューラルポリシーと共同で学習して安全性と収束性を保証できるか？
• RQ3 学習済み証明書を、理論条件を満たすことを確認する検証方法はどうするか？
• RQ4 実践では多様な非線形系でアプローチはどのように機能するか？

主な発見

• ニューラルポリシーとバリア・リャプノフ様証明書を共同で学習すると、安全でゴール到達性を持つ挙動を得られる。
• リャプノフ様証明書だけではゴール到達は達成されるが安全性を満たさない場合があり、バリアとリャプノフ様証明書の組み合わせが安全性を担保する。
• 本手法は振り子、カートポール、車両経路追従、UAV制御タスクで安全性保証とともにデモされる。
• 検証ステップは学習に伴い、離散化された状態集合上で証明書特性を検証する。
• 経験的結果は、学習済み証明書が実験シナリオで証明可能な安全性と収束保証を提供することを示す。