[論文レビュー] Learning for Safety-Critical Control with Control Barrier Functions

Andrew J. Taylor, Andrew Singletary+2 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Control Systems Optimization参考文献 43被引用数 94

ひとこと要約

この論文は、Control Barrier Functions (CBFs) に影響を与えるモデル不確実性を学習するエピソディック学習フレームワークを提示し、安全なコントローラを合成する。シミュレーションとハードウェアのSegwayで検証。

ABSTRACT

Modern nonlinear control theory seeks to endow systems with properties of stability and safety, and have been deployed successfully in multiple domains. Despite this success, model uncertainty remains a significant challenge in synthesizing safe controllers, leading to degradation in the properties provided by the controllers. This paper develops a machine learning framework utilizing Control Barrier Functions (CBFs) to reduce model uncertainty as it impact the safe behavior of a system. This approach iteratively collects data and updates a controller, ultimately achieving safe behavior. We validate this method in simulation and experimentally on a Segway platform.

研究の動機と目的

• 非線形システムにおけるモデル不確実性下の安全必須制御を動機付ける。
• 前方安全性不変性を確保するためにCBFを活用する。
• 未モデリングダイナミクスがCBFに与える影響を学習するエピソディック学習フレームワークを導入する。
• データ駆動のCBF微分学習と最適化ベースの安全コントローラを統合する。
• Segwayを用いたシミュレーションおよびハードウェア実験で有効性を示す。

提案手法

• 作用素に対してアフィンなノミナルダイナミクスモデルとCBFベースの安全制約を定義する。
• モデリング不確実性はCBF時間微分における未モデリングダイナミクスとして入り; データから推定されたaとbを含むdot-h補正項を学習する。
• 集約データを用いてCBF微分推定器を反復更新するエピソディック学習ループ（DAgger風）を提案する。
• 安全安全コントローラ（CBF-QP）と、学習済みdot-h推定器を用いた学習強化版（LCBF-QP）を定式化する。
• ニューラルネットワークを用いて不確実性項a(x)とb(x)を近似し、エピソードごとに変動する信頼重みで学習済みとノミナルコントローラをブレンドする。
• Segwayプラットフォーム上でシミュレーションとハードウェアの両方でデータ収集と学習を実証する。

実験結果

リサーチクエスチョン

• RQ1 ダイナミクスのモデル不確実性はCBFの時間微分と安全保証にどう影響するか。
• RQ2 未モデリングダイナミクスがCBFに与える影響をエピソディック学習フレームワークが正確に学習して安全を維持できるか。
• RQ3 学習したCBFダイナミクスをQPベースのコントローラに統合すると、不確実性下でモデルベースCBFコントローラと比べて安全性が向上するか。
• RQ4 アプローチはシミュレーションに加え、物理プラットフォーム（Segway）で実験的に検証できるか。

主な発見

• 学習強化コントローラ（LCBF-QP）は、シミュレーションで15%までのパラメトリック摂動下でも状態をCBF安全集合内に保つ。
• a(x)とb(x)のニューラルネット推定を用いたエピソディックデータ収集は安全違反を減らし、h(x)≥0を維持する。
• Ninebot Segwayで実験的にデモンストレーションされ、ピッチ角速度にバリアを課す際、モデルベースコントローラより安全性が向上することを示す。
• 信頼重みを増加させて学習済みとノミナルコントローラをブレンドすると、ハードウェア試験で顕著な安全性向上が得られる。
• 本フレームワークはCBFダイナミクスのデータ駆動推定と最適化ベースの安全コントローラを結びつけ、モデル不確実性下での安全な運用を実現する。