[论文解读] Mava: a research framework for distributed multi-agent reinforcement learning.

Arnu Pretorius, Kale-ab Tessera+12 more|arXiv (Cornell University)|Jul 3, 2021

Reinforcement Learning in Robotics参考文献 56被引用 6

一句话总结

Mava 是一个可扩展、模块化的分布式多智能体强化学习（MARL）研究框架，基于 DeepMind 的 Acme 构建，以复用现有的单智能体强化学习组件。它支持灵活、可组合的 MARL 系统设计，具备多进程训练能力，并提供开箱即用的 MARL 基线实现，在多种环境中展现出高效的性能。

ABSTRACT

Breakthrough advances in reinforcement learning (RL) research have led to a surge in the development and application of RL. To support the field and its rapid growth, several frameworks have emerged that aim to help the community more easily build effective and scalable agents. However, very few of these frameworks exclusively support multi-agent RL (MARL), an increasingly active field in itself, concerned with decentralised decision-making problems. In this work, we attempt to fill this gap by presenting Mava: a research framework specifically designed for building scalable MARL systems. Mava provides useful components, abstractions, utilities and tools for MARL and allows for simple scaling for multi-process system training and execution, while providing a high level of flexibility and composability. Mava is built on top of DeepMind's Acme \citep{hoffman2020acme}, and therefore integrates with, and greatly benefits from, a wide range of already existing single-agent RL components made available in Acme. Several MARL baseline systems have already been implemented in Mava. These implementations serve as examples showcasing Mava's reusable features, such as interchangeable system architectures, communication and mixing modules. Furthermore, these implementations allow existing MARL algorithms to be easily reproduced and extended. We provide experimental results for these implementations on a wide range of multi-agent environments and highlight the benefits of distributed system training.

研究动机与目标

• 解决尽管多智能体强化学习（MARL）研究兴趣日益增长，但缺乏专用、可扩展框架的问题。
• 提供一个模块化且可组合的系统，支持多智能体环境中的去中心化决策。
• 在保持高度灵活性和可重用性的同时，实现在多个进程上的高效分布式训练。
• 通过可重用组件，促进现有 MARL 算法的实现、复现与扩展。
• 通过 DeepMind 的 Acme 与现有单智能体强化学习组件无缝集成，加速开发与实验。

提出的方法

• 将 Mava 构建为基于 DeepMind Acme 的框架，在其之上复用成熟的单智能体强化学习组件与基础设施。
• 设计模块化的抽象结构用于 MARL 系统，包括可互换的系统架构、通信模块和价值分解机制。
• 通过多进程执行支持分布式训练，实现在多个设备或节点上的可扩展系统部署。
• 实现可重用组件，如集中式评论者、通信协议和价值分解模块，便于算法组合。
• 提供开箱即用的成熟 MARL 算法实现作为示例，展示框架的灵活性与可扩展性。
• 通过允许研究人员在单一训练流程中混合搭配不同组件（如不同策略、价值函数、通信方案）确保系统的可组合性。

实验结果

研究问题

• RQ1 如何设计一个模块化且可组合的框架，以支持多种多智能体强化学习算法？
• RQ2 Acme 中现有的单智能体强化学习组件在多智能体设置中能多大程度上被有效复用？
• RQ3 该框架能否在保持灵活性和易用性的同时，实现 MARL 系统的高效分布式训练？
• RQ4 所实现的 MARL 基线在一系列标准多智能体环境中的表现如何？
• RQ5 在 Mava 框架中，分布式训练在可扩展性与训练效率方面带来了哪些优势？

主要发现

• Mava 通过可组合的模块化架构，成功实现了多种 MARL 基线的实现与训练。
• 该框架支持可扩展的多进程训练，能够高效地将学习任务分发到多个设备上。
• 通过复用 Acme 的现有组件，Mava 降低了开发开销，加速了 MARL 领域的实验与开发。
• 该框架的设计支持对 MARL 算法的轻松扩展与复现，提升了可复现性与研究敏捷性。
• 在多种多智能体环境中的实验结果表明，Mava 中的训练流水线具有高效性与可扩展性。
• 通信与价值混合模块的集成，使得研究人员能够灵活地探索不同 MARL 算法组件的组合。