[论文解读] MARLlib: A Scalable and Efficient Multi-agent Reinforcement Learning Library

Siyi Hu, Yifan Zhong+7 more|arXiv (Cornell University)|Oct 11, 2022

Reinforcement Learning in Robotics被引用 11

一句话总结

MARLlib 是一个可扩展、高效的多智能体强化学习库，通过标准化环境包装器、智能体级算法集成和灵活的策略映射，将环境设计与算法实现解耦。它实现了在多样化 MARL 任务和算法间的无缝兼容性，在性能上与 SOTA 基线方法 EPyMARL 相当，同时将训练步数减少一半。

ABSTRACT

A significant challenge facing researchers in the area of multi-agent reinforcement learning (MARL) pertains to the identification of a library that can offer fast and compatible development for multi-agent tasks and algorithm combinations, while obviating the need to consider compatibility issues. In this paper, we present MARLlib, a library designed to address the aforementioned challenge by leveraging three key mechanisms: 1) a standardized multi-agent environment wrapper, 2) an agent-level algorithm implementation, and 3) a flexible policy mapping strategy. By utilizing these mechanisms, MARLlib can effectively disentangle the intertwined nature of the multi-agent task and the learning process of the algorithm, with the ability to automatically alter the training strategy based on the current task's attributes. The MARLlib library's source code is publicly accessible on GitHub: \url{https://github.com/Replicable-MARL/MARLlib}.

研究动机与目标

• 解决多智能体强化学习（MARL）领域缺乏统一、兼容且可扩展框架的问题，以支持多样化的环境和算法。
• 克服多智能体环境与算法之间的不兼容性，特别是在混合合作-竞争设置中。
• 通过将环境逻辑与学习算法逻辑解耦，减少代码膨胀并提升可扩展性。
• 为在多样化基准上训练和评估 MARL 算法提供一个标准化、可扩展且高效的平台。
• 使研究人员能够快速原型设计和基准测试 MARL 算法，而无需处理底层兼容性问题。

提出的方法

• 引入标准化的多智能体环境包装器，统一多样化的环境观测和动作格式，实现与算法无关的训练流水线。
• 在基于 Ray 的分布式训练框架中实现算法的智能体级集成，支持细粒度控制与可扩展性。
• 采用灵活的策略映射策略，根据任务特定属性动态分配策略给智能体，支持共享、分组和独立策略配置。
• 利用 Ray 和 RLlib 生态系统实现分布式训练，支持在多张 GPU 和多台节点上高效扩展。
• 通过模块化设计，支持广泛的神经网络架构（MLP、LSTM、GRU、CNN）和算法类型（在线策略、离线策略、多智能体算法）。
• 根据环境特征（如智能体数量、状态空间和动作空间）自动调整训练策略。

实验结果

研究问题

• RQ1 如何设计一个 MARL 库，以最小的配置开销支持广泛的多智能体环境和算法？
• RQ2 标准化环境包装器与智能体级算法抽象在多智能体强化学习系统中能在多大程度上提升兼容性并减少代码重复？
• RQ3 统一框架是否能在性能上达到类似 EPyMARL 等专用库的水平，同时减少训练步数并提升训练效率？
• RQ4 灵活的策略映射策略如何实现跨异构 MARL 任务的多样化学习算法的无缝集成？
• RQ5 模块化、解耦设计对 MARL 软件框架的可扩展性和可维护性有何影响？

主要发现

• 在 SMAC 基准测试中，MARLlib 的性能与 EPyMARL 相当，63% 的结果在总奖励差异 1.0 以内，且在 25% 的情况下表现优于 EPyMARL。
• 尽管仅使用一半的训练步数（在线策略：20M 对比 40M，离线策略：2M 对比 4M），MARLlib 在 SMAC 上仍收敛到相当或更优的性能。
• MARLlib 在 15 余个环境（包括 SMAC、MPE、MAgent、GRF 和 MAMuJoCo）中成功训练了 18 种不同的 MARL 算法，展示了广泛的兼容性。
• 该库在混合合作-竞争场景中实现了稳定训练，如 MAgent 和 MPE 环境中各智能体组的回报曲线保持平衡。
• MARLlib 的模块化设计降低了代码复杂度并提升了可扩展性，支持通过极少修改添加新算法和环境。
• 框架能够自动适应任务属性（如全局状态是否可用），从而在无需手动重新配置流水线的情况下透明处理多样化的 MARL 场景。