[論文レビュー] Episodic Learning for Safe Bipedal Locomotion with Control Barrier Functions and Projection-to-State Safety

Noel Csomay-Shanklin, Ryan K. Cosner+3 more|arXiv (Cornell University)|May 4, 2021

Robotic Locomotion and Control被引用数 10

ひとこと要約

本論文は、制御バリア関数（CBF）とプロジェクション・トゥ・ステート・セーフティ（PSSf）を組み合わせたエピソード学習フレームワークを提案し、二足歩行におけるモデル不確実性を低減する。閉ループ試行を通じて反復的に摂動推定値を学習することで、動的歩行における安全性と精度が向上し、シミュレーションおよびAMBER-3Mロボット上で実証された。シミュレーションではバリア関数違反が85%削減され、ハードウェアでも79%削減された。

ABSTRACT

This paper combines episodic learning and control barrier functions in the setting of bipedal locomotion. The safety guarantees that control barrier functions provide are only valid with perfect model knowledge; however, this assumption cannot be met on hardware platforms. To address this, we utilize the notion of projection-to-state safety paired with a machine learning framework in an attempt to learn the model uncertainty as it affects the barrier functions. The proposed approach is demonstrated both in simulation and on hardware for the AMBER-3M bipedal robot in the context of the stepping-stone problem, which requires precise foot placement while walking dynamically.

研究の動機と目的

• 動的歩行（ステッピング・ストーンタスクなど）における二足ロボットの安全制御におけるモデル不確実性の課題に対処すること。
• 制御バリア関数（CBF）と学習を統合することで、不完全なモデル知識下でも強固な安全保証を実現すること。
• 広範な入力データの多様性を必要としない、データ効率的でエピソードベースの学習フレームワークを構築すること。
• 本論文では、初めてハードウェア上での二足ロボットに対するCBFを用いた安全制御の実証に成功したこと。
• 反復的学習を通じて足場の配置におけるバリア関数違反を低減し、ステッピング・ストーン上での移動信頼性を向上させること。

提案手法

• ロボットが歩行試行を繰り返し、状態および制御データを収集し、学習済み摂動モデルを更新するエピソード学習ループを採用する。
• 教師あり学習フレームワークにより、名目モデルと真のシステムダイナミクスとの不一致、特にバリア関数に影響を与える摂動を推定する。
• 学習済み摂動をCBFに基づく二次計画問題（CBF-QP）に組み込み、集合不変性を維持するより安全な制御入力を生成する。
• プロジェクション・トゥ・ステート・セーフティ（PSSf）を用いてモデル不確実性の影響を制限し、不完全な知識下でも安全を保証する。
• エピソードを繰り返し更新することで、摂動推定値を改善し、バリア関数違反を低減する。
• ハードウェアおよびシミュレーション共に1kHzで動作するサンプリング・データ最適化ベースのコントローラー（SS-QP）を用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 エピソード学習は、二足ロボットのCBFベースの安全制御におけるモデル不確実性を効果的に低減できるか？
• RQ2 学習ベースの摂動推定は、ステッピング・ストーン上での動的歩行におけるバリア関数の満足度をどのように向上させるか？
• RQ3 モデルの不正確さが存在する状況下でも、実際の二足ロボット上でCBFを安全制御に成功裏に適用できるか？
• RQ4 学習プロセスは、シミュレーションおよびハードウェアにおいて、どの程度バリア関数違反の大きさを低減できるか？
• RQ5 最悪の不確実性を仮定するロバストCBFの変種と比較して、本手法は性能および保守性の面でどの程度優れているか？

主な発見

• シミュレーションでは、3回の学習エピソードを経て、足場配置時の最大バリア関数違反が2.0 cmから0.3 cmに低下し、85%の削減が達成された。
• ハードウェア上では、2回の学習エピソードを経て、最大違反が9.2 cmから1.9 cmに低下し、違反の大きさが79%削減された。
• 本手法により、幅8 cmのステッピング・ストーンを安全に通過可能となった。物理的ステッピング・ストーンは、残存不確実性を考慮して10 cmのサイズに設定された。
• 学習済み摂動モデルは、関節摩擦および質量/慣性の不一致を的確に捉え、制御の精度を向上させた。
• SS-QPコントローラーは、学習済み摂動を統合することで、過度な保守性を示さずに安定した動的歩行を実現した。これに対して、ロバストな$ar{\rho}$-CBF-QPは過度な保守性を示した。
• 本手法により、二足ロボットに対するCBFベースの安全制御の初の実験的実証が成功裏に達成された。