[論文レビュー] A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot Soccer

Hansenclever F. Bassani, Renie A. Delgado+6 more|arXiv (Cornell University)|Aug 18, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 7

ひとこと要約

本論文は、IEEEバーリ・スモールサイズ・サッカー（VSSS）リーグにおけるロボットサッカー・エージェントのシミュレーション上での強化学習（RL）ポリシー学習と現実世界への転送を可能にするオープンソースフレームワーク、VSSS-RLを紹介する。連続的制御を用いたDDPGおよびSACにより、エージェント全体の行動学習が可能となり、2019年のラテンアメリカロボティクスコンペティション（LARC）で4位を達成した。これは、本コンテストにおけるエンドツーエンドRLの初の成功応用である。

ABSTRACT

This article introduces an open framework, called VSSS-RL, for studying Reinforcement Learning (RL) and sim-to-real in robot soccer, focusing on the IEEE Very Small Size Soccer (VSSS) league. We propose a simulated environment in which continuous or discrete control policies can be trained to control the complete behavior of soccer agents and a sim-to-real method based on domain adaptation to adapt the obtained policies to real robots. Our results show that the trained policies learned a broad repertoire of behaviors that are difficult to implement with handcrafted control policies. With VSSS-RL, we were able to beat human-designed policies in the 2019 Latin American Robotics Competition (LARC), achieving 4th place out of 21 teams, being the first to apply Reinforcement Learning (RL) successfully in this competition. Both environment and hardware specifications are available open-source to allow reproducibility of our results and further studies.

研究の動機と目的

• 手作業で定義されたルールでは難しい、完全で汎用的なロボットサッカー行動の訓練の課題に対処すること。
• 動的で競争的なロボットサッカー環境におけるシミュレーションと現実世界の間のリアリティギャップを埋めること。
• マルチエージェントで連続的制御が行われる状況における強化学習およびシミュレーションから現実世界への研究の再現可能性・オープンソースベンチマークを提供すること。
• オフポリシーRL手法（DDPG、SAC、DQN）が、VSSSロボットの複雑で適応的な行動を学習する上でどれほど有効であるかを評価すること。
• シミュレーションで訓練されたポリシーを、最小限の現実世界での微調整で現実世界のロボットに転送する可能性を実証すること。

提案手法

• VSSSリーグ用にカスタムのOpenAI Gym互換環境を開発し、連続的アクション空間を備えたシミュレーションおよび実機制御をサポートした。
• フィードフォワードニューラルネットワークを用いたドメイン適応法を実装し、高レベルの命令を低レベルのモーター動作に抽象化することで、リアリティギャップを低減した。
• Deep Q-Network（DQN）、Deep Deterministic Policy Gradient（DDPG）、Soft Actor-Critic（SAC）の3つのオフポリシーRLアルゴリズムを用いてポリシーを訓練した。
• ボールプッシュ、相手ブロック、壁への跳ね返り、正確なキックといった複雑な行動を促進するための報酬形状関数を設計した。
• 最良の単一エージェントポリシー（DDPGから得たもの）を3台のロボットに適用し、3対3のチーム戦で実世界のコンペティションに参加した。
• シミュレーション環境および低コストで再現可能なロボットのハードウェア仕様をオープンソース化することで、再現性を確保した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの強化学習は、シミュレーション上で完全で汎用的な行動ポリシーをVSSSロボットに学習させ、現実世界のコンペティションに一般化可能か？
• RQ2 異なるオフポリシーRLアルゴリズム（DQN、DDPG、SAC）は、シミュレーテッド環境におけるロボットサッカーの連続的制御ポリシー学習において、どのように比較されるか？
• RQ3 フィードフォワードニューラルネットワークに基づくドメイン適応法は、どれほどリアリティギャップを低減し、シミュレーションから現実世界への転送を成功させるか？
• RQ4 RLで訓練されたポリシーは、現実世界の競争的ロボットサッカー大会で、手作業で定義されたポリシーを上回ることができるか？
• RQ5 RLを通じて学習可能な、手作業で実装することが難しい複雑で、自己組織的 emerged な行動はどのようなものか？

主な発見

• DDPGおよびSACは、正確な速度制御が可能な連続的制御出力を生成できるため、DQNに比べて優れた性能を示した。
• SACは、同じ最終性能を達成したものの、複数のランダムシードにおいてDDPGよりも高い訓練安定性を示した。
• 訓練されたポリシーは、ボールプッシュ、相手ブロック、壁への跳ね返り、協調キックといった、多様な複雑な行動のレパートリーを学習した。
• 2019年のラテンアメリカロボティクスコンペティション（LARC）において21チーム中4位を達成し、上位チームに対して決定的勝利（例：14–4および11–1）を複数回記録した。
• これは、VSSSリーグコンペティションにおいてエンドツーエンドRLによるエージェント全体制御の初の成功応用である。
• フレームワークは高い再現性を示し、異なる初期化条件でも一貫した結果が得られ、ハイパーパrameterの選択にほとんど感度を示さなかった。