[论文解读] Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan+4 more|arXiv (Cornell University)|Mar 19, 2020

Reinforcement Learning in Robotics被引用 429

一句话总结

QMIX 是一种基于值的方法，用于集中训练与去中心化执行，通过强制对每个代理的 Q 值进行单调混合来保证一致的去中心化策略，在 StarCraft 多代理挑战（SMAC）上进行评估。

ABSTRACT

In many real-world settings, a team of agents must coordinate its behaviour while acting in a decentralised fashion. At the same time, it is often possible to train the agents in a centralised fashion where global state information is available and communication constraints are lifted. Learning joint action-values conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a mixing network that estimates joint action-values as a monotonic combination of per-agent values. We structurally enforce that the joint-action value is monotonic in the per-agent values, through the use of non-negative weights in the mixing network, which guarantees consistency between the centralised and decentralised policies. To evaluate the performance of QMIX, we propose the StarCraft Multi-Agent Challenge (SMAC) as a new benchmark for deep multi-agent reinforcement learning. We evaluate QMIX on a challenging set of SMAC scenarios and show that it significantly outperforms existing multi-agent reinforcement learning methods.

研究动机与目标

• 在去中心化执行下，激励学习协同策略以带领代理团队。
• 提出一种集中式但分解的 Q 函数表示，能够随代理数量扩展。
• 通过单调混合架构确保集中式与去中心化策略的一致性。
• 将 SMAC 作为 StarCraft II 环境中深度多代理 RL 的一个具有挑战性的基准。
• 提供一个开源框架（PyMARL）用于评估多代理 RL 算法。

提出的方法

• 用代理网络表示每个代理的价值函数 Q_a。
• 使用混合网络将代理 Q 值结合起来以产生 Q_tot，通过使用非负权重来强制单调性。
• 通过超网络将全局状态条件化混合网络权重，以实现状态相关的混合。
• 证明单调性保证 argmax Q_tot 等于每个代理的 argmax Q_a 的堆栈。
• 使用集中训练的离策略方法进行训练，同时在部署阶段保持去中心化执行。

实验结果

研究问题

• RQ1 单调混合每个代理值是否能保证集中式联合动作选择与去中心化代理动作之间的一致性？
• RQ2 基于超网络条件化的单调混合架构（QMIX）是否比简单的加性分解（VDN）表示更丰富的集中式 Q 函数且仍具可扩展性？
• RQ3 QMIX 在具有挑战性的多代理协调任务上是否优于现有方法？
• RQ4 通过超网络对全局状态进行条件化的混合网络如何影响在 SMAC 中的性能与协作？

主要发现

• 在 SMAC 场景中，QMIX 在绝对性能和学习速度方面优于 IQL、VDN 和 COMA。
• 混合网络的单调性足以确保去中心化的 argmax 与集中式 argmax 对齐。
• 通过超网络将状态条件化混合网络使集中式价值表示更丰富，同时保持可扩展的去中心化执行。
• 需要一个灵活的多层混合网络来在 SMAC 的异构任务中实现稳健性能。
• 该框架和基准（SMAC）使深度多代理 RL 方法的标准化评估成为可能，超越网格世界环境。