[论文解读] Deep Multi-Agent Reinforcement Learning for Decentralized Continuous Cooperative Control

Christian Schröder de Witt, Bei Peng+4 more|arXiv (Cornell University)|Mar 14, 2020

Reinforcement Learning in Robotics参考文献 28被引用 41

一句话总结

本文提出了 MAMuJoCo，一个用于连续机器人控制的多智能体强化学习新基准套件，支持集中训练与分散执行（CTDE）。结果表明，在连续协作任务中，价值分解技术显著优于算法设计选择，这促使将价值分解方法从 Q-learning 扩展至演员-评论家框架，并提出新的 MADDPG 变体，在多个任务上超越了原始方法。

ABSTRACT

Centralised training with decentralised execution (CTDE) is an important learning paradigm in multi-agent reinforcement learning (MARL). To make progress in CTDE, we introduce Multi-Agent MuJoCo (MAMuJoCo), a novel benchmark suite that, unlike StarCraft Multi-Agent Challenge (SMAC), the predominant benchmark environment, applies to continuous robotic control tasks. To demonstrate the utility of MAMuJoCo, we present a range of benchmark results on this new suite, including comparing the state-of-the-art actor-critic method MADDPG against two novel variants of existing methods. These new methods outperform MADDPG on a number of MAMuJoCo tasks. In addition, we show that, in these continuous cooperative MAMuJoCo tasks, value factorisation plays a greater role in performance than the underlying algorithmic choices. This motivates the necessity of extending the study of value factorisations from $Q$-learning to actor-critic algorithms.

研究动机与目标

• 为解决多智能体强化学习中连续控制任务缺乏基准的问题，特别是集中训练与分散执行（CTDE）场景。
• 开发一个名为 MAMuJoCo 的新基准套件，专为连续机器人控制任务设计，与现有离散动作基准（如 SMAC）形成对比。
• 评估在连续协作 MARL 设置下，价值分解与算法设计选择的影响。
• 提出并测试改进性能的新型演员-评论家变体，使其在新基准上优于 MADDPG。

提出的方法

• 提出 MAMuJoCo，一个基于 MuJoCo 环境的新基准套件，专为连续动作空间多智能体控制任务设计。
• 采用集中训练与分散执行（CTDE）策略，允许训练期间联合学习策略，推理时保持独立执行。
• 将价值分解技术应用于演员-评论家框架，将集中式价值函数分解为各智能体的组成部分。
• 通过在评论家网络架构中集成价值分解，设计两种 MADDPG 的新型变体。
• 使用集中式价值函数联合训练策略，推理时仅依赖本地观测与独立策略。
• 在多个连续控制任务上评估性能，对比基线 MADDPG 与所提出的变体。

实验结果

研究问题

• RQ1 在连续协作多智能体强化学习任务中，价值分解在多大程度上影响性能？
• RQ2 在连续 MARL 中，与价值分解相比，算法创新的重要性如何？
• RQ3 在 CTDE 设置下，价值分解能否有效从 Q-learning 扩展至演员-评论家框架？
• RQ4 新型演员-评论家变体在连续控制基准上与 MADDPG 相比表现如何？
• RQ5 在 MAMuJoCo 任务中，价值函数分解方式的选择对整体性能起到何种作用？

主要发现

• 在连续协作 MAMuJoCo 任务中，价值分解对性能的影响大于底层算法设计。
• 所提出的演员-评论家变体在多个 MAMuJoCo 任务上优于基线 MADDPG。
• 在连续控制设置中，价值分解能持续提升样本效率与最终性能，优于标准 MADDPG。
• 价值分解的有效性表明，未来连续 MARL 研究应优先考虑该技术。
• 结果表明，在这些任务中，价值函数分解比策略网络架构或学习算法的选择更为关键。
• MAMuJoCo 作为一个有效且可靠的基准，可用于评估连续协作 MARL 方法。