[論文レビュー] Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion

Xingye Da, Zhaoming Xie+6 more|arXiv (Cornell University)|Sep 21, 2020

Robotic Locomotion and Control被引用数 13

ひとこと要約

本稿では、モデルベース制御と強化学習を組み合わせることで、頑健でエネルギー効率の良い歩行を実現する階層的接触適応型コントローラーを提案する。ハイレベルな強化学習コントローラーは、リアルタイムの環境フィードバックに基づいて事前に定義された運動プリミティブから選択し、ローレベルコントローラーは安定な実行を保証する。このシステムは、ベースラインと比較して最大85％のエネルギー効率向上と優れた頑健性を達成し、物理的Unitree Laikagoロボット上で、ドメインランダマイゼーションやファインチューニングなしに未確認の地形に対しても一般化可能である。

ABSTRACT

We present a hierarchical framework that combines model-based control and reinforcement learning (RL) to synthesize robust controllers for a quadruped (the Unitree Laikago). The system consists of a high-level controller that learns to choose from a set of primitives in response to changes in the environment and a low-level controller that utilizes an established control method to robustly execute the primitives. Our framework learns a controller that can adapt to challenging environmental changes on the fly, including novel scenarios not seen during training. The learned controller is up to 85~percent more energy efficient and is more robust compared to baseline methods. We also deploy the controller on a physical robot without any randomization or adaptation scheme.

研究の動機と目的

• 動的で未確認の環境条件にリアルタイムで適応可能な、頑健でエネルギー効率の良いロボットの制御系を開発すること。
• 従来のモデルベース制御とエンドツーエンド強化学習の限界を克服し、接触の不確実性や新しい地形に対処すること。
• ドメインランダマイゼーションやファインチューニングを用いずに、学習済みコントローラーを物理的ロボットにデプロイ可能にする。
• モデルベース制御と強化学習のハイブリッドフレームワークを通じて、エネルギー効率と頑健性を向上させること。

提案手法

• フレームワークは階層的アーキテクチャを採用し、環境フィードバックに基づいて事前に定義された運動プリミティブのセットから選択するハイレベルな強化学習コントローラーを用いる。
• ローレベルコントローラーは、既存の制御手法（例：オペレーショナルスペース制御やコンピューテッドターブル制御）を用いて、選択されたプリミティブの安定した実行を保証する。
• ハイレベルコントローラーは、変化する地形や接触状態に応じてプリミティブ選択を適応させるために強化学習で訓練される。
• システムは多様な地形条件を想定したシミュレーションで訓練され、推論時に未確認の環境にも一般化可能である。
• ドメインランダマイゼーションやシミュレーションから実世界への適応技術は使用せず、物理的Unitree Laikagoロボットへの直接デプロイが可能である。
• 接触状態を観測し、歩行中にプリミティブを動的に調整することで、接触適応行動を学習する。

実験結果

リサーチクエスチョン

• RQ1 ドメインランダマイゼーションを用いずに、階層的強化学習とモデルベース制御の統合フレームワークが、未確認の地形でも頑健な四足歩行を可能にするか？
• RQ2 学習されたプリミティブ選択と安定したローレベル制御の統合が、四足ロボットのエネルギー効率をどのように向上させるか？
• RQ3 学習済みコントローラーが、トレーニング時に存在しなかった新しい環境条件下でどの程度一般化可能か？
• RQ4 ベースライン制御手法と比較して、エネルギー効率と頑健性にどの程度の向上が見られるか？
• RQ5 このようなコントローラーは、シミュレーションから実世界への適応を経ずに、物理的ロボットに直接デプロイ可能か？

主な発見

• 提案されたコントローラーは、ベースライン手法と比較して最大85％のエネルギー効率向上を達成し、運用持続時間の大幅な向上を実現した。
• トレーニング時に確認されていなかった困難で新しい地形条件に対しても、優れた頑健性を示した。
• 接触適応型プリミティブ選択メカニズムのおかげで、未確認の環境への一般化が効果的に行えた。
• ドメインランダマイゼーションやシミュレーションから実世界への適応を一切用いずに、物理的Unitree Laikagoロボット上に正常にデプロイされた。
• 階層的設計により、モデルベース制御の信頼性と強化学習の適応性を組み合わせた、安定的で効率的な歩行が実現された。