[论文解读] Graph Convolutional Value Decomposition in Multi-Agent Reinforcement Learning

Navid Naderializadeh, Fan Hung+2 more|arXiv (Cornell University)|Oct 9, 2020

Reinforcement Learning in Robotics参考文献 34被引用 10

一句话总结

该论文提出 GraphMIX，一种基于图神经网络的多智能体强化学习值函数分解方法，通过注意力驱动的有向图建模智能体交互。该方法实现了显式的信用分配，在 SMAC 基准测试中性能优于 QMIX 和 Weighted QMIX，并具备在训练与测试场景中智能体数量不匹配时进行微调的可扩展性。

ABSTRACT

We propose a novel framework for value function factorization in multi-agent deep reinforcement learning (MARL) using graph neural networks (GNNs). In particular, we consider the team of agents as the set of nodes of a complete directed graph, whose edge weights are governed by an attention mechanism. Building upon this underlying graph, we introduce a mixing GNN module, which is responsible for i) factorizing the team state-action value function into individual per-agent observation-action value functions, and ii) explicit credit assignment to each agent in terms of fractions of the global team reward. Our approach, which we call GraphMIX, follows the centralized training and decentralized execution paradigm, enabling the agents to make their decisions independently once training is completed. We show the superiority of GraphMIX as compared to the state-of-the-art on several scenarios in the StarCraft II multi-agent challenge (SMAC) benchmark. We further demonstrate how GraphMIX can be used in conjunction with a recent hierarchical MARL architecture to both improve the agents' performance and enable fine-tuning them on mismatched test scenarios with higher numbers of agents and/or actions.

研究动机与目标

• 解决现有值函数分解方法在多智能体强化学习中未能显式建模智能体交互结构的局限性。
• 通过基于图嵌入的全局奖励分解，实现对单个智能体的显式信用分配。
• 开发一种大小不变的混合模块，支持去中心化执行，并可在智能体数量不同的场景中进行微调。
• 提升在复杂、异构环境（如 StarCraft II 多智能体挑战，SMAC）中的泛化能力和性能。

提出的方法

• 将智能体团队建模为完全有向图，其中每个智能体为一个节点，边权重通过基于观测-动作历史的注意力机制动态学习。
• 引入一个混合图神经网络模块，将全局状态-动作值函数分解为单个智能体的值函数，同时强制单调性以保持策略一致性。
• 从图神经网络的最终节点嵌入中推导出每个智能体的奖励占比，用于最小化局部损失函数与全局损失函数。
• 以端到端方式联合训练混合图神经网络、注意力机制和智能体参数，实现训练后去中心化推理。
• 在图神经网络中采用图同构网络（GIN）和图卷积网络（GCN）架构，以评估不同图神经网络类型下的性能表现。
• 将 GraphMIX 与分层 RODE 框架结合，实现在测试场景中智能体数量增加时的快速微调。

实验结果

研究问题

• RQ1 与现有方法相比，具有可学习边权重的图神经网络是否能提升多智能体强化学习中的值函数分解性能？
• RQ2 通过图神经网络推导出的奖励占比实现显式信用分配，是否能提升多智能体强化学习中的学习效率和性能？
• RQ3 当部署于训练时智能体数量不同的测试场景时，所提出的 GraphMIX 框架是否能保持性能并支持微调？
• RQ4 图神经网络架构的选择（如 GIN 与 GCN）如何影响值分解模块的性能与鲁棒性？

主要发现

• 在 SMAC 基准测试的多个困难和超难场景中，GraphMIX 在样本效率和最终胜率方面均优于 QMIX 和 Weighted QMIX。
• 基于 GIN 的 GraphMIX 架构在大多数 SMAC 地图上的性能与 GCN 变体相当或更优，表明 GIN 在捕捉智能体动态方面的有效性。
• GraphMIX 成功实现了在不匹配测试场景下的微调——具体为 8–12 名友方智能体和 30 名敌方智能体，而基于 QMIX 的方法因输入尺寸限制而失败。
• 仅用约 100 万步微调 GraphMIX 智能体，即可显著提升在更大走廊地图上的胜率，证实了基于 GNN 的混合模块具备大小不变性和可扩展性。
• 将 GraphMIX 与 RODE 分层框架结合，可在复杂、高维场景中实现快速迁移与微调，性能优于独立的 RODE 和 GraphMIX。
• 注意力机制能有效建模异构智能体间的交互，尤其在 MMM2 等复杂地图中，因智能体类型多样性增加，对动态关系建模的需求更高。