[論文レビュー] HierKick: Hierarchical Reinforcement Learning for Vision-Guided Soccer Robot Control

Yizhi Chen, Zheng Zhang+8 more|arXiv (Cornell University)|Mar 1, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

HierKick は 5 Hz の高レベルコーチと 50 Hz の低レベルコントローラを用いた dual-frequency 階層強化学習を用い、視覚誘導サッカータスクを実行し、堅牢な sim-to-real 移行とリアルタイム制御（約 20 ms レイテンシ）を実現します。

ABSTRACT

Controlling soccer robots involves multi-time-scale decision-making, which requires balancing long-term tactical planning and short-term motion execution. Traditional end-to-end reinforcement learning (RL) methods face challenges in complex dynamic environments. This paper proposes HierKick, a vision-guided soccer robot control framework based on dual-frequency hierarchical RL. The framework adopts a hierarchical control architecture featuring a 5 Hz high-level policy that integrates YOLOv8 for real-time detection and selects tasks via a coach model, and a pre-trained 50 Hz low-level controller for precise joint control. Through this architecture, the framework achieves the four steps of approaching, aligning, dribbling, and kicking. Experimental results show that the success rates of this framework are 95.2\% in IsaacGym, 89.8\% in Mujoco, and 80\% in the real world. HierKick provides an effective hierarchical paradigm for robot control in complex environments, extendable to multi-time-scale tasks, with its modular design and skill reuse offering a new path for intelligent robot control.

研究の動機と目的

• 長期的戦術と高速モータ実行を組み合わせたヒューマノイド・サッカー用の多時間スケール意思決定を動機づける。
• perception、ハイレベルコーチング、低レベル運動制御を統合する dual-frequency HierKick フレームワークを開発する。
• 多段階報酬とドメインランダム化による robust な学習を実現し、sim-to-real 移行を改善する。

提案手法

• 5 Hz の高レベル Coach Policy と 50 Hz の事前学習済み Low-Level Motion Policy を備えた階層的 MDP を提案する。
• YOLOv8 ベースの視覚認識を用いてボールとゴールを検出し、Coach Policy に feed する。
• 非対称 actor-critic 設定の下で Proximal Policy Optimization (PPO) によって Coach Policy を訓練する。
• Approach、Alignment、Dribble、Shoot の4フェーズに対応する多段階報酬構造と delta 正規化項を採用する。
• 50 Hz で PD 追従を用いた12自由度の低レベルジョイントコントローラを活用して運動指令を実行する。
• 教育カリキュラム学習とドメインランダム化を取り入れ、一般化と sim-to-real 移行を向上させる。

Figure 1: Robot Trajectory Diagram . This diagram depicts the trajectory of the robot on the football field. Guided by the Coach model and based on the HierKick framework, the robot executes a series of actions, including Approach, Alignment, Dribble, and Shoot.

実験結果

リサーチクエスチョン

• RQ1 視覚誘導型 humanoid サッカータスクにおいて、 dual-frequency 階層 RL フレームワークは戦術計画と正確な運動実行を効果的に分離できるか。
• RQ2 認識品質、観測成分（ボール距離・ゴール距離）、コマンド履歴が方策の性能と安定性にどのように影響するか。
• RQ3 多段階報酬が訓練の安定性、収束、タスク成功率にシミュレーションと実機の両方で与える影響は。
• RQ4 HierKick フレームワークはシミュレーションと実世界環境でどのように異なり、 sim-to-real ギャップはどこに残るか。

主な発見

Method	Success Rate (%)
HierKick	95.2%
HierKick w/o d_ball, d_goal	23.2%
HierKick (c_prev -> v_robot-ball)	8.2%
End-to-End	25.6%

• HierKick は Isaac Gym で 95.2%、MuJoCo で 89.8%、実世界で 80% のタスク成功率を達成。
• アブレーションにより、ボール/ゴール距離特徴と元のコマンド履歴を用いた HierKick が、距離特徴を除去した variants やコマンドタイプを変更した variant よりも優れていることを示す。
• エンドツーエンドの End-to-End 手法は 25.6% のスコアで、アブレーション variant はそれより劣ることから、階層設計の利点を示す。
• 50 Hz の低レベルコントローラは約 20 ms のエンドツーエンド遅延を生み出し、リアルタイム制御を実現する。
• 事前訓練済みの低レベルスキルとカリキュラムベースの多段階報酬が訓練効率と収束を改善する。
• dual-frequency 制御は安定性を高め、非階層的ベースラインと比較してキック距離の分散を低減する。

Figure 2: Hierarchical control framework of HierKick . This framework consists of three interconnected modules: (1) Perception , where a YOLOv8 detector running at 10 Hz processes visual input to determine the positions of the soccer ball and goal (2) High-level control , featuring a “Coach Policy”