[論文レビュー] The Lyapunov Neural Network: Adaptive Stability Certification for Safe Learning of Dynamical Systems

Spencer M. Richards, Felix Berkenkamp+1 more|arXiv (Cornell University)|Aug 2, 2018

Fault Detection and Control Systems被引用数 67

ひとこと要約

著者らは、非線形閉ループ系の最大の安全領域に適応するニューラル-networkベースのリヤプノフ関数を提案し、固定モデル構造に依存せず学習中に証明可能な安全性を実現する。

ABSTRACT

Learning algorithms have shown considerable prowess in simulation by allowing robots to adapt to uncertain environments and improve their performance. However, such algorithms are rarely used in practice on safety-critical systems, since the learned policy typically does not yield any safety guarantees. That is, the required exploration may cause physical harm to the robot or its environment. In this paper, we present a method to learn accurate safety certificates for nonlinear, closed-loop dynamical systems. Specifically, we construct a neural network Lyapunov function and a training algorithm that adapts it to the shape of the largest safe region in the state space. The algorithm relies only on knowledge of inputs and outputs of the dynamics, rather than on any specific model structure. We demonstrate our method by learning the safe region of attraction for a simulated inverted pendulum. Furthermore, we discuss how our method can be used in safe learning algorithms together with statistical models of dynamical systems.

研究の動機と目的

• 学習可能なロボティクスにおける安全性を動機づけ、与えられたポリシーに対して最大の安全領域（ROA）を特定する。
• 安全性証明を自然に付与するニューラルネットワーク型リヤプノフ候補を開発する。
• 特定のダイナミクスモデルを仮定せずに、リヤプノフネットワークを訓練してレベル集合を真のROAに一致させるよう形状を整える。
• 非線形系（倒立振子）でアプローチを実証し、安全な学習フレームワークとの統合について議論する。

提案手法

• 構造保証を備えた前向きニューラルネットワークであるphi_thetaを用いて、Lyapunov候補 v_theta(x) = phi_theta(x)^T phi_theta(x) を構築する。
• 層のヌル空間が自明であるネットワークを課し、ヌル空間が自明な活性化関数を用いることで、v_thetaの正定値性とリプシッツ連続性を保証する。
• v_thetaを、セーフセット推定を分類問題として定式化して訓練する：xが真のROA S_piに含まれる場合はy=+1、そうでない場合はy=-1、v_theta(x) < c_Sのとき安全と判断。
• 安全領域内の状態に対してDelta v_theta(x) < 0というリヤプノフ減少条件を課し、訓練時に違反（Delta v_theta）を罰するラグランジュ形式を用いる。
• Algorithm 1を用いて既知の安全集合から拡張し、前方シミュレーションのギャップを埋め、認定ROAを拡大するようにthetaを更新して、安全レベル集合を反復的に拡大する。
• アプローチをSOSリヤプノフ関数に関連付け、離散サンプリングとリプシッツ境界を用いた安全性検証について論じる。

実験結果

リサーチクエスチョン

• RQ1 非線形で不確定な閉ループダイナミクスに対して証明可能なリヤプノフ関数として機能するニューラルネットワークをどのように構築できるか。
• RQ2 学習されたリヤプノフ関数は、固定の多項式／SOS構造に依存せず、真のROAを密に近似するようにレベルセットの形状を適応できるか。
• RQ3 分類の概念をどのように活用して、最大の安全領域を認定するリヤプノフベースの安全証明書を訓練できるか。
• RQ4 安全証明書を用いて、非線形ダイナミクス系の安全な探索と学習をどう実現するか。
• RQ5 提案手法を非線形ベンチマーク（倒立振子）での実現性と性能はどうか、既存手法と比較してどうか。

主な発見

• 本手法は正定値かつリプシッツ性を持つニューラルリヤプノフ候補を生み出し、証明可能な安全証明書を実現する。
• 分類形式での訓練により、レベル集合を真のROAに合わせつつ減少条件を維持できる。
• Algorithm 1は、レベル集合を拡大し、前方シミュレーションを通じて安全性を検証することで、安全領域を反復的に拡大する。
• 計算されたリヤプノフ関数を用いて真のROAの少なくとも一部を証明でき、不安全な状態が安全と誤分類されることを保証する。
• 倒立振子への適用は、非線形系の安全な吸引領域を学習できることを示し、安全学習フレームワークとの統合について議論する。