[论文解读] Multi-Agent Determinantal Q-Learning

Yaodong Yang, Ying Wen+5 more|arXiv (Cornell University)|Jun 2, 2020

Reinforcement Learning in Robotics参考文献 30被引用 7

一句话总结

本文提出多智能体行列式Q学习（Multi-Agent Determinantal Q-Learning），一种基于值函数的协作式多智能体强化学习方法，利用基于行列式点过程（DPP）的概率模型——Q-DPP，无需施加结构限制即可自然分解联合Q函数。通过鼓励智能体行为多样化，Q-DPP实现了有效的去中心化执行，并泛化了VDN、QMIX和QTRAN，其在Blocker Game和Predator-Prey World等基准任务上的表现优于这些方法。

ABSTRACT

Centralized training with decentralized execution has become an important paradigm in multi-agent learning. Though practical, current methods rely on restrictive assumptions to decompose the centralized value function across agents for execution. In this paper, we eliminate this restriction by proposing multi-agent determinantal Q-learning. Our method is established on Q-DPP, an extension of determinantal point process (DPP) with partition-matroid constraint to multi-agent setting. Q-DPP promotes agents to acquire diverse behavioral models; this allows a natural factorization of the joint Q-functions with no need for \emph{a priori} structural constraints on the value function or special network architectures. We demonstrate that Q-DPP generalizes major solutions including VDN, QMIX, and QTRAN on decentralizable cooperative tasks. To efficiently draw samples from Q-DPP, we adopt an existing sample-by-projection sampler with theoretical approximation guarantee. The sampler also benefits exploration by coordinating agents to cover orthogonal directions in the state space during multi-agent training. We evaluate our algorithm on various cooperative benchmarks; its effectiveness has been demonstrated when compared with the state-of-the-art.

研究动机与目标

• 解决当前基于集中训练与去中心化执行（CTDE）的方法在价值函数分解中依赖于严格结构假设的局限性。
• 克服多智能体基于值函数的CTDE方法中缺乏合理探索策略的问题。
• 通过在训练过程中促进不同智能体间行为模式的多样性，实现联合Q函数的自然分解。
• 将现有方法如VDN、QMIX和QTRAN统一为一个框架的特例。
• 开发一种高效且理论基础坚实的Q-DPP采样器，支持训练与探索。

提出的方法

• 提出Q-DPP，即在划分拟阵约束下扩展的行列式点过程（DPP），用于建模跨智能体的观测-动作对集合。
• 将Q-DPP用作集中式联合Q函数的函数逼近器，同时优化质量与多样性。
• 利用DPP的数学性质，在最优情况下实现联合Q函数向个体智能体Q值的自然分解。
• 采用基于投影采样的线性时间采样器（源自P-DPP，Celis et al., 2018），并具备理论近似保证。
• 将采样器集成至训练过程中，协调智能体在状态空间中探索正交方向，提升探索效率。
• 引入辅助损失函数以强制满足假设1（关于特征值比值），并通过降低奖励方差来稳定训练。

实验结果

研究问题

• RQ1 基于值函数的CTDE方法是否能在不施加价值函数结构限制的前提下实现有效的去中心化执行？
• RQ2 如何通过促进智能体行为的多样性来实现联合Q函数的自然分解？
• RQ3 Q-DPP能否将VDN、QMIX和QTRAN等现有方法作为特例统一于同一框架？
• RQ4 所提出的采样器是否能同时支持有效的价值函数逼近与协调探索？
• RQ5 在训练过程中，质量与多样性之间的平衡如何演变，其对性能有何影响？

主要发现

• 在非单调、病态的协作任务中，Q-DPP在20,000步内收敛至全局最优，而基线方法均未能收敛。
• 在Blocker Game与协同导航任务中，Q-DPP在所有基线方法中表现最佳，展现出在部分可观测环境下的优越协调能力。
• 在Predator-Prey World任务中，Q-DPP优于所有基线，因高效的多智能体协作而获得更高的累积奖励。
• 消融实验表明，通过辅助损失强制满足假设1可降低训练方差并稳定学习过程，尽管对最终性能提升不显著。
• 实证结果表明，Q-DPP中的多样性项随时间推移逐渐减弱，符合预期——早期以探索为主，后期则以利用为主。
• 策略可视化结果证实，Q-DPP学习到了相互正交的行为模型，验证了个体最优解如何导向联合最优解的机制。