[論文レビュー] RL + Model-Based Control: Using On-Demand Optimal Control to Learn Versatile Legged Locomotion

Dong‐Ho Kang, Jin Cheng+3 more|arXiv (Cornell University)|May 29, 2023

Robotic Locomotion and Control被引用数 1

ひとこと要約

本論文は、モデルベース最適制御（MBOC）と強化学習（RL）を組み合わせたハイブリッド制御フレームワークを提案し、多様で頑健な脚付き走破を実現する。有限区間最適制御を用いてオンデマンドで参照運動を生成し、その運動を模倣するようにRLポリシーを学習させることで、ロボット固有の報酬設計を必要とせず、複雑な地形や多様な歩行様式への高い一般化性能を達成し、粗い環境下でのモデル予測制御（MPC）を上回る性能を発揮する。

ABSTRACT

This paper presents a control framework that combines model-based optimal control and reinforcement learning (RL) to achieve versatile and robust legged locomotion. Our approach enhances the RL training process by incorporating on-demand reference motions generated through finite-horizon optimal control, covering a broad range of velocities and gaits. These reference motions serve as targets for the RL policy to imitate, leading to the development of robust control policies that can be learned with reliability. Furthermore, by utilizing realistic simulation data that captures whole-body dynamics, RL effectively overcomes the inherent limitations in reference motions imposed by modeling simplifications. We validate the robustness and controllability of the RL training process within our framework through a series of experiments. In these experiments, our method showcases its capability to generalize reference motions and effectively handle more complex locomotion tasks that may pose challenges for the simplified model, thanks to RL's flexibility. Additionally, our framework effortlessly supports the training of control policies for robots with diverse dimensions, eliminating the necessity for robot-specific adjustments in the reward function and hyperparameters.

研究の動機と目的

• 純粋にモデルベースの最適制御の限界を克服すること。これは、多様性や適応性を制限する簡略化仮定に依存しているためである。
• 脚付き走破における標準的なRLの課題に対処すること。特に、広範な報酬形状設計と行動の事前知識の欠如が問題である。
• MBOCの透明性と効率性を運動生成に活用し、RLの柔軟性と一般化能力をポリシー学習に活かす統合フレームワークを構築すること。
• ロボット固有の報酬関数やハイパーパrameterチューニングを必要とせず、多様なロボット形状への適応性と頑健なシミュレーションから実世界への転送を可能にすること。

提案手法

• 簡略化された動力学モデル（例：VHIPM）を用いた有限区間最適制御（OCP）により、さまざまな速度と歩行様式をカバーするオンデマンドの参照運動を生成する。
• 忠実な再現性と一般化性能の両立を図る、洗練された模倣報酬関数を用いて、これらのMBOC生成参照運動を模倣するようにRLポリシーを学習する。
• 完全体の動力学を含む現実的なシミュレーション動力学を統合し、MBOCフレームワークに内在するモデル誤差を補う。
• 訓練中に、地形の摩擦、ペリンノイズを用いた不整地、重力ベクトルの摂動、外部インパルスに対して広範なランダム化を施し、頑健性とシミュレーションから実世界への転送性を向上させる。
• 周期的でない非対称な歩行をサポートする接触フェーズパラメータライゼーションを採用し、対称パターンを超えた多様な走破行動を可能にする。
• 同じMBOCデモを異なる四足歩行ロボット（Go1とAliengo）に適用することで、報酬関数やハイパーパrameterの再チューニングなしに転送性を実現する。

実験結果

リサーチクエスチョン

• RQ1 オンデマンド最適制御は、脚付き走破におけるRL模倣のための効果的かつ動的に整合性のある参照運動を多様に生成できるか？
• RQ2 RLポリシーは、MBOCモデルの簡略化を越えて、不整地や外部摂動といった複雑な現実世界のシナリオをどの程度一般化して処理できるか？
• RQ3 ロボット固有の報酬設計やハイパーパrameterチューニングなしに、ハイブリッドフレームワークがどの程度頑健なシミュレーションから実世界への転送を達成できるか？
• RQ4 フレームワークは、周期的でない非対称な歩行を含む多様な走破行動をサポートできるか。同時に安定性と制御可能性を維持できるか？
• RQ5 複雑な環境下での一般化に必要な柔軟性と、MBOC運動の厳密な模倣の間には、どのようなトレードオフが生じるか？

主な発見

• RLポリシーは、MBOC参照運動を粗い不整地や勾配のある表面に適応させ、10秒以内に5m走破タスクでモデル予測制御（MPC）ベースラインを上回る性能を発揮した。
• タスク固有の報酬形状設計や工学的介入なしに、明確な歩行スタイルを維持し、任意の速度指令に正確に対応した。
• Unitree Go1およびAliengo四足歩行ロボットにおける実機実験により、外部摂動、不整地、変動摩擦条件下でも頑健な性能が確認された。
• 訓練中に地形、摩擦、重力、外部インパルスを体系的にランダム化することで、ロボット固有の報酬調整なしに効果的なシミュレーションから実世界への転送が実現した。
• 1640万サンプル、64コアCPUで46時間の訓練期間を経て、多様な走破タスクにわたる高いポリシー性能と信頼性のある訓練が達成された。
• 周期的または対称な歩行に制限されないアプローチであり、接触フェーズパラメータライゼーションにより、動物に似た走破行動の可能性を示した。