[論文レビュー] HybridMimic: Hybrid RL-Centroidal Control for Humanoid Motion Mimicking

Ludwig Chee-Ying Tay, I-Chia Chang+1 more|arXiv (Cornell University)|Mar 6, 2026

Robotic Locomotion and Control被引用数 0

ひとこと要約

HybridMimicは学習済みポリシーとセントロイドーベースのコントローラを融合し、実現可能な前向きトルクと連続接触状態を生成することで、Booster T1人型ロボットのシム-to-リアル基底位置追跡を改善します。

ABSTRACT

Motion mimicking, i.e., encouraging the control policy to mimic human motion, facilitates the learning of complex tasks via reinforcement learning (RL) for humanoid robots. Although standard RL frameworks demonstrate impressive locomotion agility, they often bypass explicit reasoning about robot dynamics during deployment, which is a design choice that can lead to physically infeasible commands when the robot encounters out-of-distribution environments. By integrating model-based principles, hybrid approaches can improve performance; however, existing methods typically rely on predefined contact timing, limiting their versatility. This paper introduces HybridMimic, a framework in which a learned policy dynamically modulates a centroidal-model-based controller by predicting continuous contact states and desired centroidal velocities. This architecture exploits the physical grounding of centroidal dynamics to generate feedforward torques that remain feasible even under domain shift. Using physics-informed rewards, the policy is trained to efficiently utilize the centroidal controller's optimization by outputting precise control targets and reference torques. Through hardware experiments on the Booster T1 humanoid, HybridMimic reduces the average base position tracking error by 13\% compared to a state-of-the-art RL baseline, demonstrating the robustness of dynamics-aware deployment.

研究の動機と目的

• 人型ロボットのモーション模倣を通じて多様で人間に近い動作の学習を促進する。
• デプロイ時の物理的適合性を強制するために、モデルベースのセントロイド制御を強化学習と統合する。
• 事前に定義された接触スケジュールを排除し、ポリシー主導の連続接触状態推定を実現する。
• ドメインシフト下で実現可能な参照トルクとセントロイド目標を学習して生成する。
• ハードウェア上で基底位置追跡のシム-to-realロバスト性を向上させることを示す。

提案手法

• モータートルクがフォワードフィードフォワード項とPD項の和になるハイブリッドコントローラを使用する: u = uFF + uPD。
• セントロイドダイナミクスと推定された接触状態を尊重するセントロイドQPからuFFを計算し、Feasible F*の閉形式解を得る: F* = -Q^{-1}c + Q^{-1}A^{T}(AQ^{-1}A^{T})^{-1}(xddot - ghat + AQ^{-1}c)。
• RLポリシーから連続接触状態 wi と指令されたセントロイド加速度xddot_cmdを予測・調整し、セントロイドコントローラを駆動する。
• 地面反力のずれ、接触状態、セントロイド加速度の違反をペナルティする物理情報を含む報酬でRLポリシーを訓練し、ロバスト性のためのドメインランダム化を組み込む。
• 観測はベースラインポリシー入力に対して特権観測を critic に用意し、過去4タイムステップの観測履歴を積み上げて表現する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドRL-セントロイドコントローラは、展開時にも物理的に実現可能な指令を保ちつつ、多様で人間に近い動作を学習できるか。
• RQ2 ポリシー主導の連続接触状態推定は、固定された接触スケジュールと比べてロバスト性を向上させ、シム-to-realギャップを緩和するか。
• RQ3 物理情報を用いた報酬とセントロイドのフォワード機構は、ドメインシフト下の追従誤差を減らすか。
• RQ4 HybridMimicアーキテクチャは、ベース位置および姿勢追跡の点で、最新のRLベースラインと比較して実機でどのように性能するか。

主な発見

• HybridMimicはBeyondMimicと比較して、シム-to-simおよびシム-to-realタスクで基底最終位置誤差と基底平均位置誤差を低減する。
• ハードウェア実験では、HybridMimicがBeyondMimicベースラインに比べて基底位置追従誤差を約13%削減する。
• ポリシー推定による連続接触状態は、堅牢な性能と地上反力推定の正確さにとって重要である。
• セントロイドのフォワードトルクは、より滑らかで忠実な追従を実現し、PDトルクのみへの依存を減らす。
• 固定接触スケジュール（HybridMimic+FCS）は、完全適応型のHybridMimicより複雑なタスクで性能が劣り、学習済み接触状態推定の重要性を強調する。
• このアプローチは、モデルベースのトルク生成と学習制御の間の透明で解釈可能なバランスを生み出し、実世界でのチューニングを容易にする。