[論文レビュー] Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning

Tuomas Haarnoja, Ben Moran+26 more|arXiv (Cornell University)|Apr 26, 2023

Robotic Locomotion and Control参考文献 98被引用数 6

ひとこと要約

この論文は、シミュレーション内でのエンド・ツー・エンド学習とゼロショットの実機転送により、低コストで小型のヒューマノイドロボットが歩行、キック、転倒回復、戦略的プレーといった、きびきびとした動きで安全にプレーできるサッカー技術を学習できることを示している。エージェントはスクリプトベースのベースラインを上回る性能を発揮し、歩行が156%速く、転倒からの回復が63%速く、キックが24%速くなった。1on1サッカー環境においても、スキルをスムーズに組み合わせられる。

ABSTRACT

We investigate whether Deep Reinforcement Learning (Deep RL) is able to synthesize sophisticated and safe movement skills for a low-cost, miniature humanoid robot that can be composed into complex behavioral strategies in dynamic environments. We used Deep RL to train a humanoid robot with 20 actuated joints to play a simplified one-versus-one (1v1) soccer game. The resulting agent exhibits robust and dynamic movement skills such as rapid fall recovery, walking, turning, kicking and more; and it transitions between them in a smooth, stable, and efficient manner. The agent's locomotion and tactical behavior adapts to specific game contexts in a way that would be impractical to manually design. The agent also developed a basic strategic understanding of the game, and learned, for instance, to anticipate ball movements and to block opponent shots. Our agent was trained in simulation and transferred to real robots zero-shot. We found that a combination of sufficiently high-frequency control, targeted dynamics randomization, and perturbations during training in simulation enabled good-quality transfer. Although the robots are inherently fragile, basic regularization of the behavior during training led the robots to learn safe and effective movements while still performing in a dynamic and agile way -- well beyond what is intuitively expected from the robot. Indeed, in experiments, they walked 181% faster, turned 302% faster, took 63% less time to get up, and kicked a ball 34% faster than a scripted baseline, while efficiently combining the skills to achieve the longer term objectives.

研究の動機と目的

• 低コストの二足歩行ロボットが動的環境において、複雑で安全かつダイナミックな動きのスキルをDeep RLで合成できるかどうかを調査すること。
• 階層的スキルトレーニングとセルフプレイを用いて、歩行、キック、転倒回復といった組み合わせ行動をエンド・ツー・エンドで学習できるようにすること。
• ハードウェアのばらつきやモデル化されていないダイナミクスが存在する中でも、シミュレーションから実世界のヒューマノイドロボットへの効果的なゼロショット転送を達成すること。
• オンボードのカメラと時間的統合を用いたビジョンベース制御を検討し、モーションキャプチャシステムへの依存を減らすこと。
• 単純な報酬設計から、ボールの動きを予測したり相手のシュートをブロックするような、出現的な戦略的行動が生じるかどうかを評価すること。

提案手法

• 20自由度の関節を持つシミュレーテッド1on1サッカー環境で、Deep RLを用いて単独のスキル（転倒回復とゴールスコアリング）を別々に訓練。
• 自己対戦により、これらのスキルを統合・蒸留し、1つのポリシーにした。エージェントは自身の以前のバージョンと対戦することで戦術的行動を向上させた。
• シミュレーション訓練中に高周波制御、ターゲットドメインランダマイゼーション、ランダムな力の摑みを適用し、耐性とシミュレーションから実機への転送性を向上させた。
• NeRFベースの視覚シミュレーションを用い、ランダム化されたNeRFと動的物体（ボール、相手）を重ねることで、ビジョンベースエージェントのシミュレーションから実機へのギャップを埋めた。
• LSTMベースのエージェントを採用し、部分的でエゴセントリックなカメラ視界からの時系列的視覚観測を処理し、状態情報を推定した。
• ゴールスコアリングと相手のブロックを目的としたスパarsな報酬設計を用い、個々の動きに密集した報酬設計は用いなかった。

Figure 1 : We created matching simulated (left) and real (right) soccer environments. The pitch is $5\text{\,}\mathrm{m}$ long by $4\text{\,}\mathrm{m}$ wide. The real environment was also equipped with a motion capture (mocap) system for tracking the two robots and the ball.

実験結果

リサーチクエスチョン

• RQ1 Deep RLは、低コストのヒューマノイドロボットが現実世界のサッカー遊びに適した、複雑でダイナミックかつ安全な動きのスキルを学習できるか？
• RQ2 歩行や転倒回復といった、孤立したスキルが、自己対戦を用いて、一体となった高レベルのポリシーにどれほどうまく組み合わせられるか？
• RQ3 高周波制御と摂動ベースのドメインランダマイゼーションを用いた場合、シミュレーションから実機へのゼロショット転送はどの程度効果的か？
• RQ4 オンボードカメラと時間的記憶のみを用いて、ビジョンベースエージェントがボールを追跡し、効果的に位置をとれるか？
• RQ5 単純な報酬関数から、ボールの動きを予測したり相手のシュートをブロックするような、出現的な戦略的行動が自然に生じるか？

主な発見

• 実機ロボットは、スクリプトベースのベースラインと比較して、歩行速度が156%速く、学習されたポリシーによる顕著な性能向上を示した。
• 転倒からの回復時間がスクリプトベースライン比で63%短縮され、動的擾乱からの強靭で効率的な回復が可能であることが示された。
• キック速度はベースライン比で24%向上し、物体とのインタラクションにおける俊敏さとダイナミックな制御の向上が確認された。
• ビジョンベースのペナルティキック試行では、10試行中6ゴール（60%）、ゴールポストに当たったのは3回（30%）であり、効果的な視覚状態推定と行動計画が可能であることが証明された。
• エージェントはボールの動きを予測し、相手のシュートをブロックする行動を学習した。これは、明示的な報酬設計なしに、基本的な戦術的理解が出現したことを示している。
• ハードウェアの壊れやすさにもかかわらず、訓練中のわずかな修正と行動正則化により、安全でダイナミックかつ効率的な実機動作が実現された。

Figure 2 : One of the OP3 robots we used in our experiments.