[论文解读] Multi-Agent Collaboration via Reward Attribution Decomposition

Tianjun Zhang, Huazhe Xu+5 more|arXiv (Cornell University)|Oct 16, 2020

Reinforcement Learning in Robotics参考文献 44被引用 19

一句话总结

该论文提出协同Q-learning（CollaQ），一种多智能体强化学习方法，通过新颖的多智能体奖励归属（MARA）损失，将每个智能体的Q函数分解为自属与协同两项，实现去中心化、样本高效的训练。CollaQ在StarCraft地图上的胜率比最先进方法高出40%，在无需微调的临时组队场景中实现30%的性能提升。

ABSTRACT

Recent advances in multi-agent reinforcement learning (MARL) have achieved super-human performance in games like Quake 3 and Dota 2. Unfortunately, these techniques require orders-of-magnitude more training rounds than humans and don't generalize to new agent configurations even on the same game. In this work, we propose Collaborative Q-learning (CollaQ) that achieves state-of-the-art performance in the StarCraft multi-agent challenge and supports ad hoc team play. We first formulate multi-agent collaboration as a joint optimization on reward assignment and show that each agent has an approximately optimal policy that decomposes into two parts: one part that only relies on the agent's own state, and the other part that is related to states of nearby agents. Following this novel finding, CollaQ decomposes the Q-function of each agent into a self term and an interactive term, with a Multi-Agent Reward Attribution (MARA) loss that regularizes the training. CollaQ is evaluated on various StarCraft maps and shows that it outperforms existing state-of-the-art techniques (i.e., QMIX, QTRAN, and VDN) by improving the win rate by 40% with the same number of samples. In the more challenging ad hoc team play setting (i.e., reweight/add/remove units without re-training or finetuning), CollaQ outperforms previous SoTA by over 30%.

研究动机与目标

• 解决现有MARL方法在复杂环境（如StarCraft）中样本效率低下和泛化能力差的问题。
• 在不重新训练或微调的前提下，实现对新团队配置（临时组队）的零样本泛化能力。
• 将多智能体协作建模为智能体间隐式奖励分配的联合优化问题。
• 开发一种去中心化、端到端可训练的算法，在动态团队构成下保持可解释性与性能。

提出的方法

• 将每个智能体的Q函数分解为两项：仅依赖于自身状态的$Q_i^{\text{alone}}(s_i)$，以及依赖于邻近智能体状态的$Q_i^{\text{collab}}(s_i, \mathcal{N}_i)$。
• 使用带多智能体奖励归属（MARA）损失的常规DQN联合训练这两项，以保持语义一致性。
• 当无队友在附近时，强制$Q_i^{\text{collab}}(s_i, \cdot) = 0$，确保协同项仅在相关情境下激活。
• 采用集中式训练、去中心化执行的范式，利用理论条件确保该分解能近似产生最优策略。
• 将该分解应用于StarCraft II多智能体挑战赛，通过专家混合机制实现智能体间的策略共享。
• 对训练过程进行正则化，以在动态团队环境中保持可解释性与鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种去中心化的Q函数，使其在不同团队配置下近似最优联合行为？
• RQ2 将奖励归属分解为自属与协同两项，是否能提升MARL的样本效率与泛化能力？
• RQ3 MARA损失是否能有效保持协同项的语义含义，同时支持端到端训练？
• RQ4 该方法在未见过的单位类型或配置下，对临时组队场景的泛化程度如何？
• RQ5 与QMIX、QTRAN和VDN等现有最先进方法相比，该分解在可解释性与性能方面有何改进？

主要发现

• 在标准StarCraft地图上，CollaQ在使用相同环境步数的情况下，胜率比现有最先进方法（QMIX、QTRAN、VDN）高出40%。
• 在临时组队场景中（测试时新增、替换或移除单位），CollaQ在无需重新训练或微调的情况下，胜率超过以往最先进方法30%以上。
• 消融实验表明，若移除MARA损失，性能显著下降，证实其在保持协同项语义完整性方面起着关键作用。
• 可视化结果表明，$Q_i^{\text{alone}}$与$Q_i^{\text{collab}}$两项具有可解释性，后者仅在相关队友存在时被激活。
• 该方法能有效泛化至新团队构成，在复杂、类真实世界场景中展现出零样本适应能力。
• CollaQ中的专家混合组件进一步提升了性能，在相同设置下大幅超越QMIX。