[论文解读] Fever Basketball: A Complex, Flexible, and Asynchronized Sports Game Environment for Multi-agent Reinforcement Learning

Hangtian Jia, Yujing Hu+5 more|arXiv (Cornell University)|Dec 6, 2020

Reinforcement Learning in Robotics参考文献 44被引用 8

一句话总结

本文介绍了 Fever Basketball，这是一个开源的、复杂的、异步的多智能体强化学习环境，能够模拟具有可变动作执行时间、多种球员角色和多样化比赛场景的真实篮球比赛。该研究提出了一种集成课程训练（ICT）框架，提升了团队协作能力，在3v3在线比赛中对人类玩家实现了70%的胜率，有效应对了长时程、稀疏奖励和非平稳性等挑战。

ABSTRACT

The development of deep reinforcement learning (DRL) has benefited from the emergency of a variety type of game environments where new challenging problems are proposed and new algorithms can be tested safely and quickly, such as Board games, RTS, FPS, and MOBA games. However, many existing environments lack complexity and flexibility and assume the actions are synchronously executed in multi-agent settings, which become less valuable. We introduce the Fever Basketball game, a novel reinforcement learning environment where agents are trained to play basketball game. It is a complex and challenging environment that supports multiple characters, multiple positions, and both the single-agent and multi-agent player control modes. In addition, to better simulate real-world basketball games, the execution time of actions differs among players, which makes Fever Basketball a novel asynchronized environment. We evaluate commonly used multi-agent algorithms of both independent learners and joint-action learners in three game scenarios with varying difficulties, and heuristically propose two baseline methods to diminish the extra non-stationarity brought by asynchronism in Fever Basketball Benchmarks. Besides, we propose an integrated curricula training (ICT) framework to better handle Fever Basketball problems, which includes several game-rule based cascading curricula learners and a coordination curricula switcher focusing on enhancing coordination within the team. The results show that the game remains challenging and can be used as a benchmark environment for studies like long-time horizon, sparse rewards, credit assignment, and non-stationarity, etc. in multi-agent settings.

研究动机与目标

• 为解决现有游戏环境在多智能体强化学习中的局限性，特别是其对同步动作的假设和低复杂度问题。
• 创建一个真实、灵活且具有挑战性的体育环境，支持单智能体和多智能体训练，具备多样化角色和游戏模式。
• 研究动作执行异步性对多智能体学习的影响，并开发方法以缓解其带来的非平稳性效应。
• 设计并评估一种基于课程的训练框架，以增强复杂体育环境中团队协作和长时程任务学习能力。
• 将 Fever Basketball 建立为研究多智能体强化学习中长期信用分配、稀疏奖励和协作问题的基准。

提出的方法

• Fever Basketball 环境基于商业篮球引擎构建，支持完整的篮球规则，包括跳球、传球、投篮、抢篮板以及位置角色（如 PG、C、SG）等。
• 通过为不同球员分配不同的动作执行时间，引入异步性，以模拟现实世界中的反应时间差异，从而增加非平稳性。
• 提供一系列训练场景（1v1、2v2、3v3）和游戏模式（进攻、防守、快攻、清场），以支持在不同任务难度下的评估。
• 提出两种启发式方法——EXP-Ms 和 EXP-Sp——通过根据异步性调整动作选择，以减少联合动作学习中的非平稳性。
• 集成课程训练（ICT）框架结合了子任务的级联课程和协调课程切换机制，逐步训练策略以提升团队协作能力。
• 该框架以 APEX-Rainbow 作为底层强化学习算法，并引入基于游戏规则的课程调度机制，以引导策略在比赛不同阶段的学习。

实验结果

研究问题

• RQ1 动作执行的异步性如何影响多智能体强化学习算法在体育环境中的性能？
• RQ2 基于课程的训练能否在复杂、稀疏奖励的体育环境（如篮球）中提升协作能力和长时程学习能力？
• RQ3 启发式方法在多大程度上可以缓解异步性带来的联合动作学习非平稳性？
• RQ4 与标准训练基线相比，集成课程训练（ICT）框架在对人类玩家的胜率方面表现如何？
• RQ5 Fever Basketball 环境能否作为评估多智能体强化学习算法在稀疏奖励、信用分配和非平稳性场景下表现的稳健基准？

主要发现

• 集成课程训练（ICT）框架在300天的在线评估中，对人类玩家实现了70%的胜率，显著优于基线课程方法（仅约30%胜率）。
• ICT 框架展现出更优的协作能力，使 AI 队能够执行高级战术（如“传球后切入”），而未使用协调课程切换机制的模型则无法实现此类战术。
• 消融实验证明，单模型训练表现最差，而引入级联课程和协调切换机制后，性能获得显著提升。
• 与基线模型相比，ICT 模型在在线评估初期阶段的胜率提升了一倍以上，表明其具备强大的泛化能力和适应性。
• AI 队的对战参与率随时间持续上升，表明改进后的 AI 质量提升了玩家参与度和游戏价值。
• 结果证实，Fever Basketball 依然是长时程、稀疏奖励和非平稳性多智能体强化学习问题的具有挑战性的基准。