[论文解读] Arena: A General Evaluation Platform and Building Toolkit for Multi-Agent Intelligence

Yuhang Song, Andrzej Wojcicki+7 more|arXiv (Cornell University)|May 17, 2019

Reinforcement Learning in Robotics参考文献 96被引用 8

一句话总结

Arena 是一个多智能体智能的通用评估平台与构建工具包，包含 35 种多样化的游戏，通过 GUI 可配置的社会树实现可定制的社会结构，并提供五种基础多智能体奖励方案（BMaRSs）。该平台使研究人员能够创建新颖的多智能体场景，支持最先进深度多智能体强化学习基线算法，并为所有游戏提供 100 个预训练智能体/团队，以实现标准化性能评估。

ABSTRACT

Learning agents that are not only capable of taking tests, but also innovating is becoming a hot topic in AI. One of the most promising paths towards this vision is multi-agent learning, where agents act as the environment for each other, and improving each agent means proposing new problems for others. However, existing evaluation platforms are either not compatible with multi-agent settings, or limited to a specific game. That is, there is not yet a general evaluation platform for research on multi-agent intelligence. To this end, we introduce Arena, a general evaluation platform for multi-agent intelligence with 35 games of diverse logics and representations. Furthermore, multi-agent intelligence is still at the stage where many problems remain unexplored. Therefore, we provide a building toolkit for researchers to easily invent and build novel multi-agent problems from the provided game set based on a GUI-configurable social tree and five basic multi-agent reward schemes. Finally, we provide Python implementations of five state-of-the-art deep multi-agent reinforcement learning baselines. Along with the baseline implementations, we release a set of 100 best agents/teams that we can train with different training schemes for each game, as the base for evaluating agents with population performance. As such, the research community can perform comparisons under a stable and uniform standard. All the implementations and accompanied tutorials have been open-sourced for the community at https://sites.google.com/view/arena-unity/.

研究动机与目标

• 为解决当前多智能体智能缺乏通用评估平台的问题，避免依赖游戏特定或不可扩展的解决方案。
• 使研究人员能够通过 GUI 可配置的社会树和五种基础多智能体奖励方案（BMaRSs）轻松设计和构建新颖的多智能体问题。
• 通过为每款 35 款游戏释放 100 个表现最佳的智能体/团队，提供标准化基准以确保跨不同训练方案的稳定且可比较的性能评估。
• 通过开源最先进的基线算法实现，支持新型多智能体强化学习算法的开发。
• 通过提供即用的密集奖励函数（用于基本行为如移动和碰撞），降低底层技能工程的负担。

提出的方法

• 该平台引入 GUI 可配置的社会树，用于定义智能体之间的层级关系，从而灵活建模团队结构与社会动态。
• 定义了五种基础多智能体奖励方案（BMaRSs），作为对奖励函数的约束，每种方案对应一种独特社会范式（例如：竞争、协作、等级制）。
• 每种 BMaRS 均包含多个即用型奖励函数，简化复杂社会互动的构建，同时通过验证机制确保正确性。
• 平台提供预实现的密集奖励函数，用于低层次智能体行为（如移动、碰撞、能效管理），以加速高层次多智能体研究。
• 与 Unity 集成，并提供五种最先进深度多智能体强化学习基线的 Python 实现，用于算法开发与评估。
• 提供一套完整的 35 款游戏，涵盖多样的表现形式（视觉/RAM）、游戏机制（团队死亡竞赛、夺旗、生存）和动态特性（实时、离散/连续），实现广泛的评估范围。

实验结果

研究问题

• RQ1 如何设计一个通用多智能体智能评估平台，以支持多样的游戏机制与社会结构？
• RQ2 GUI 可配置的社会树与预定义奖励方案（BMaRSs）在多大程度上可使研究人员快速原型化新颖的多智能体场景？
• RQ3 每款游戏包含 100 个预训练智能体/团队的标准化基准，能否确保在不同训练方案下性能评估的稳定性和可比性？
• RQ4 所提供的深度多智能体强化学习基线在 Arena 中 35 种多样化游戏上的表现有多高效？
• RQ5 该平台在多大程度上降低了研究人员探索未探索多智能体智能问题的入门门槛？

主要发现

• Arena 提供了涵盖 35 款多智能体游戏的完整套件，具备多样的逻辑、表现形式（视觉/RAM）和游戏机制，可广泛评估多智能体系统。
• 该平台的 GUI 可配置社会树与五种 BMaRSs 使研究人员能够轻松定义并实验复杂的社交结构，如基于团队的竞争与层级协作。
• 每种 BMaRS 均包含多个即用型奖励函数，经验证可产生预期的社会范式，确保正确性并减少实现错误。
• 平台包含每款游戏 100 个预训练智能体/团队，采用不同方案训练，为性能比较提供稳定且统一的基线。
• 五种最先进深度多智能体强化学习基线的开源实现，有助于新算法的快速原型设计与验证。
• 集成用于基本行为（如移动、能效成本、碰撞）的密集低层次奖励函数，显著降低了研究人员在高层多智能体策略上的工程负担。