[论文解读] A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot Soccer

Hansenclever F. Bassani, Renie A. Delgado+6 more|arXiv (Cornell University)|Aug 18, 2020

Reinforcement Learning in Robotics参考文献 30被引用 7

一句话总结

本文介绍了 VSSS-RL，这是一个用于在仿真环境中训练强化学习（RL）策略并将其迁移到 IEEE 极小尺寸足球（VSSS）联赛真实世界机器人足球运动员的开源框架。通过使用连续控制的 DDPG 和 SAC 方法，该框架实现了完整智能体行为的学习，并在 2019 年拉丁美洲机器人竞赛（LARC）中获得第 4 名，标志着该竞赛中首次成功应用端到端强化学习。

ABSTRACT

This article introduces an open framework, called VSSS-RL, for studying Reinforcement Learning (RL) and sim-to-real in robot soccer, focusing on the IEEE Very Small Size Soccer (VSSS) league. We propose a simulated environment in which continuous or discrete control policies can be trained to control the complete behavior of soccer agents and a sim-to-real method based on domain adaptation to adapt the obtained policies to real robots. Our results show that the trained policies learned a broad repertoire of behaviors that are difficult to implement with handcrafted control policies. With VSSS-RL, we were able to beat human-designed policies in the 2019 Latin American Robotics Competition (LARC), achieving 4th place out of 21 teams, being the first to apply Reinforcement Learning (RL) successfully in this competition. Both environment and hardware specifications are available open-source to allow reproducibility of our results and further studies.

研究动机与目标

• 为解决通过手工编码规则难以实现的完整、通用的机器人足球行为的训练挑战。
• 弥合动态、竞争性机器人足球环境中仿真与真实世界部署之间的现实差距。
• 为多智能体、连续控制场景中的强化学习和仿真到现实研究提供可复现的开源基准。
• 评估离策略强化学习方法（DDPG、SAC、DQN）在学习 VSSS 机器人复杂自适应行为方面的有效性。
• 证明在仿真环境中训练的策略可仅通过极少的真实世界微调即成功迁移到真实机器人。

提出的方法

• 为 VSSS 联赛开发了一个兼容 OpenAI Gym 的自定义环境，支持仿真和真实机器人控制，具有连续动作空间。
• 通过前馈神经网络实现领域自适应方法，将高层命令抽象为低层运动动作，以减小现实差距。
• 使用三种离策略强化学习算法（深度 Q 网络 DQN、深度确定性策略梯度 DDPG 和软演员评论家 SAC）训练策略。
• 设计了奖励塑造函数，以鼓励学习复杂行为，如推球、阻挡对手、墙反弹和精准踢球。
• 在 3 对 3 队伍设置中，将表现最佳的单智能体策略（来自 DDPG）部署到三台机器人上，用于真实世界竞赛。
• 通过开源仿真环境和低成本、易复制的机器人硬件规格，确保了结果的可复现性。

实验结果

研究问题

• RQ1 端到端强化学习是否能在仿真环境中训练出适用于真实世界竞赛的完整、通用的 VSSS 机器人行为策略？
• RQ2 在模拟环境中，不同离策略强化学习算法（DQN、DDPG、SAC）在学习机器人足球连续控制策略方面表现如何比较？
• RQ3 基于前馈神经网络的领域自适应方法在多大程度上能减小现实差距并实现成功的仿真到现实迁移？
• RQ4 在真实世界、竞争性的机器人足球比赛中，强化学习训练的策略是否能超越手工编码策略？
• RQ5 通过强化学习可以学习到哪些复杂且涌现的行为，这些行为难以通过人工方式实现？

主要发现

• DDPG 和 SAC 算法由于能够生成连续控制输出以实现精确速度控制，相比 DQN 表现更优。
• 尽管最终性能相似，SAC 在多个随机种子下表现出比 DDPG 更高的训练稳定性。
• 训练出的策略学习到了丰富的复杂行为组合，包括推球、阻挡对手、墙反弹和协同踢球。
• 该团队在 2019 年拉丁美洲机器人竞赛（LARC）中取得 21 支队伍中的第 4 名，多次以决定性比分击败强队（如 14–4 和 11–1）。
• 这是 VSSS 联赛竞赛中首次成功应用端到端强化学习实现完整智能体控制。
• 该框架展现出高度可复现性，不同随机初始化下结果一致，且对超参数选择不敏感。