[論文レビュー] Learning Certified Control using Contraction Metric

Dawei Sun, Susmit Jha+1 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Control Systems Optimization参考文献 59被引用数 15

ひとこと要約

本稿では、制御アフィン系に対して、ニューラルネットワークベースのコントローラーと収縮計量を同時に合成する学習フレームワークを提案する。この手法により、摂動下でも収束性と有界な追従誤差を保証する。収縮計量理論を用いてコントローラーと計量を同時に最適化することで、構造的仮定を必要とせず形式的保証を提供し、和の平方（sum-of-squares）、強化学習、モデル予測制御よりも追従精度と速度で優れる。

ABSTRACT

In this paper, we solve the problem of finding a certified control policy that drives a robot from any given initial state and under any bounded disturbance to the desired reference trajectory, with guarantees on the convergence or bounds on the tracking error. Such a controller is crucial in safe motion planning. We leverage the advanced theory in Control Contraction Metric and design a learning framework based on neural networks to co-synthesize the contraction metric and the controller for control-affine systems. We further provide methods to validate the convergence and bounded error guarantees. We demonstrate the performance of our method using a suite of challenging robotic models, including models with learned dynamics as neural networks. We compare our approach with leading methods using sum-of-squares programming, reinforcement learning, and model predictive control. Results show that our methods indeed can handle a broader class of systems with less tracking error and faster execution speed. Code is available at https://github.com/sundw2014/C3M.

研究の動機と目的

• 摂動下でも収束性と有界な追従誤差を保証する認証付き制御ポリシーの開発。
• システムダイナミクスに構造的仮定を課さずに、ニューラルネットワークコントローラーと収縮計量を同時に合成すること。
• リプシッツ連続性と最適化に基づく検証を用いて、収束性と誤差境界の形式的検証を提供すること。
• 高精度な追従性能を実現する複雑で不確実性を含む環境における安全な運動計画の実現。
• 多項式ダイナミクスと構造的仮定を必要とする和の平方プログラミングなどの従来手法の限界を克服すること。

提案手法

• コントローラーと収縮計量を両方とも深層ニューラルネットワークとしてモデル化し、制御収縮計量（CCM）理論に基づく損失関数を用いて同時に学習する。
• トレーニング中にCCM条件を制約として課すことにより、インクリメンタル安定性と有界な追従誤差を保証する。
• CCMのリプシッツ連続性を用いて、閉ループ系の決定的収束保証を提供する。
• 測地線に基づくコントローラーの検証に最適化ベースの手法を適用し、正確な測地線が計算不能であってもロバストネスを確保する。
• CCMフレームワークを活用して、誤差ダイナミクスの変換を必要とせず、任意の参照軌道への追従を可能にする。
• システムの学習済みダイナミクスをニューラルネットワークとして表現することで、形式的保証付きのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 摂動下でも有界な追従誤差を保証するため、ニューラルネットワークベースのコントローラーと収縮計量を同時に学習可能か？
• RQ2 非線形で制御アフィンなシステムに対して、学習ベースの制御フレームワークで形式的収束性と誤差境界をどのように保証できるか？
• RQ3 和の平方プログラミング、強化学習、モデル予測制御よりも、追従精度と計算効率の面で優れるか？
• RQ4 本手法は、ニューラルネットワークとして表現された学習済みダイナミクスを有するシステムをどの程度処理できるか？
• RQ5 システムダイナミクスに構造的仮定が存在しない場合、本手法の適用範囲や性能に制限が生じるか？

主な発見

• 提案手法は、ベンチマークとして用いられたロボットシステムにおいて、和の平方プログラミング、強化学習、モデル予測制御よりも低い追従誤差を達成した。
• 本フレームワークは、従来手法よりも高速な実行速度を実現しており、特にリアルタイムの運動計画に有益である。
• 学習済み収縮計量のリプシッツ連続性を用いて、形式的収束性と有界誤差保証を提供した。
• 本手法は、ニューラルネットワークで学習されたダイナミクスを有するシステムを効果的に処理でき、複雑な現実世界のロボットモデルへの適用範囲を拡張した。
• コントローラーと計量の共同最適化により、後処理による測地線計算の必要性が排除され、計算オーバーヘッドが低減された。
• 検証実験の結果、さまざまなロボットシステムにおいて、有界な摂動下でも学習済みコントローラーが有界な追従誤差を維持することが確認された。