[論文レビュー] Safe Control with Learned Certificates: A Survey of Neural Lyapunov, Barrier, and Contraction methods

Charles Dawson, Sicun Gao+1 more|arXiv (Cornell University)|Feb 23, 2022

Fault Detection and Control Systems被引用数 19

ひとこと要約

本調査は、非線形ロボティクスシステムにおける学習されたコントローラーの検証可能で安定した安全性を保証するため、ニューラルネットワークを用いてリャプノフ関数、バリア関数、収縮関数を学習するニューラル証明手法を紹介する。制御方策と微分可能な証明を同時に学習することで、手作業で設計された関数や制限的なシステム仮定に依存せず、安全で安定した検証可能な制御が可能となり、従来のソルボス法やPDEベースの手法とは対照的にスケーラブルな代替手法を提供する。

ABSTRACT

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

研究の動機と目的

• 非線形力学系における安全で安定した制御のためのニューラル証明手法について、包括的かつアクセス可能なサーベイを提供すること。
• リャプノフ関数、バリア関数、収縮関数の学習をニューラルネットワークフレームワークで統合することで、形式的制御理論と現代の学習ベース制御の間のギャップを埋めること。
• 深層強化学習における保証の欠如を解消するため、検証可能な証明を用いた自己教師あり学習を可能にすること。
• 異種マルチエージェント、分散的およびネットワーク化制御システムにおける未解決の課題と今後の研究方向性を特定すること。
• ロボティクスおよび制御分野で証明学習を応用または発展させる研究者や実務家にとっての基盤的リファレンスとして機能すること。

提案手法

• フレームワークは、制御証明（リャプノフ関数、バリア関数、収縮関数）をニューラルネットワークで表現し、学習されたコントローラーと統合してエンドツーエンド微分可能に訓練可能である。
• 証明条件（例：リャプノフ関数では微分が負定値）から導出される自己教師あり信号を用いて証明を訓練することで、明示的な報酬形状の必要性を排除する。
• 多項式でない動的システムや高次元系にも対応可能であり、ソルボス法やPDEベースの手法の制限を克服する。
• 強化学習と統合することで、証明がポリシー最適化を間接的に監視する形で安定性と安全性を訓練中に保証する。
• アプローチにより検証可能な正しさが実現可能：訓練済みのニューラル証明は、対応するコントローラーのシステムの安定性または安全性に関する数学的証明を提供する。
• 合成的検証とグラフニューラルネットワークを提案し、異種的および分散的マルチエージェントシステムへのフレームワークの拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、非線形システムに対して検証可能な安定性および安全性の保証を提供するリャプノフ関数、バリア関数、収縮関数を効果的に学習できるか？
• RQ2 証明学習を強化学習とどのように統合することで、性能と安全性の両方の保証を達成できるか？
• RQ3 従来の手法（ソルボス法やPDEベースの手法）の限界は何か？ニューラル証明はそれらをどのように克服するか？
• RQ4 ニューラル証明は、大規模で高次元的、またはマルチエージェント系にスケーリング可能か？
• RQ5 分散的、ネットワーク化、またはフェイルセーフ制御システムへのニューラル証明の適用における主な課題は何か？

主な発見

• ニューラル証明は、手作業で設計された関数形や多項式動的システムの仮定を必要とせず、非線形システムに対して検証可能な安全性と安定性の保証を合成可能にする。
• フレームワークは自己教師あり学習をサポートし、証明条件自体が教師信号を提供することで、外部の報酬関数への依存を低減する。
• 本手法は、不確実性下での安定した歩行、乱流環境下でのマルチコプター飛行、1,000台を超えるエージェントの分散制御といった複雑なタスクに成功裏に適用されている。
• ニューラル証明は、高次元PDEを解く計算的非効率性や、ソルボスプログラミングの制限的仮定を回避する点で、従来の手法に比べスケーラビリティと一般性に優れている。
• 本アプローチは、実世界のロボティクスアプリケーションにおける信頼性のある学習ベース制御への実用的道筋を提供し、強固な理論的根拠と実証的妥当性を兼ね備えている。
• 今後の課題として、異種マルチエージェントシステム、遅延を伴う分散制御、フェイルセーフアーキテクチャへのフレームワークの拡張が必要である。