[论文解读] QPLEX: Duplex Dueling Multi-Agent Q-Learning

Jianhao Wang, Zhizhou Ren+3 more|arXiv (Cornell University)|Aug 3, 2020

Reinforcement Learning in Robotics参考文献 32被引用 144

一句话总结

QPLEX 引入一个双工对决网络，在优势基础的 IGM 约束下对联合 Q 函数进行因式分解，达到 IGM 表达性的完全性，并在 online 与 offline StarCraft II MARL 任务中表现出色。

ABSTRACT

We explore value-based multi-agent reinforcement learning (MARL) in the popular paradigm of centralized training with decentralized execution (CTDE). CTDE has an important concept, Individual-Global-Max (IGM) principle, which requires the consistency between joint and local action selections to support efficient local decision-making. However, in order to achieve scalability, existing MARL methods either limit representation expressiveness of their value function classes or relax the IGM consistency, which may suffer from instability risk or may not perform well in complex domains. This paper presents a novel MARL approach, called duPLEX dueling multi-agent Q-learning (QPLEX), which takes a duplex dueling network architecture to factorize the joint value function. This duplex dueling structure encodes the IGM principle into the neural network architecture and thus enables efficient value function learning. Theoretical analysis shows that QPLEX achieves a complete IGM function class. Empirical experiments on StarCraft II micromanagement tasks demonstrate that QPLEX significantly outperforms state-of-the-art baselines in both online and offline data collection settings, and also reveal that QPLEX achieves high sample efficiency and can benefit from offline datasets without additional online exploration.

研究动机与目标

• 在 CTDE 下以 IGM 原理为核心，激励可扩展的基于价值的多代理强化学习。
• 提出一个双工对决网络架构，在保持完全 IGM 一致性的同时对联合价值函数进行因式分解。
• 形式化基于优势的 IGM，并证明其与 IGM 等价，从而实现完整的函数表达能力。
• 在在线和离线 STARCRAFT II 微管理基准中展示优越的性能和样本效率。

提出的方法

• 引入基于优势的 IGM，将 IGM 约束转换为对优势函数的界限。
• 使用将单独学习的 Q 函数通过 Transformation 网络和 Dueling Mixing 网络组合成联合 Q 函数的双工对决架构。
• 采用带正注意力权重的联合优势计算以满足 IGM 约束，实现可扩展的因式分解（A_tot = sum_i lambda_i A_i）。
• 实现 QPLEX 网络，采用每个代理的独立动作价值函数，以及一个对联合历史进行条件化的集中 Transformation 模块。
• 端到端训练，使用 TD 损失和目标网络，在执行阶段使用去中心化的独立 Q 函数。

实验结果

研究问题

• RQ1 基于优势的 IGM 能否在 CTDE MARL 中为联合动作值的因式分解提供完整的函数类？
• RQ2 双工对决架构是否能实现与现有分解方法相比的精确 IGM 一致性和更优的可扩展性？
• RQ3 相较于 QMIX、VDN、QTRAN 和 Qatten 等基线，QPLEX 在在线和离线 STARCRAFT II 微管理基准中的表现如何？
• RQ4 QPLEX 是否在简单教学习题和复杂多代理环境中提高稳定性和样本效率？
• RQ5 QPLEX 是否能够利用离线数据在无需额外在线探索的情况下实现稳健性能？

主要发现

• QPLEX 通过基于优势的表述和双工架构实现了完整的 IGM 表达能力。
• QPLEX 一直超越基线，在在线数据收集的星际争霸 II 微管理任务中，具有强大的样本效率。
• 在离线数据收集中保持稳定，并在离线 MARL 设置中优于其他基线。
• 消融研究显示基于注意力的信用分配权重在学习联合优势中的重要性。
• 该方法在教学习题和复杂 MARL 基准测试中均表现出更高的性能，解决了表达能力受限方法的稳定性风险。