[论文解读] AI-QMIX: Attention and Imagination for Dynamic Multi-Agent Reinforcement Learning

Shariq Iqbal, Christian A. Schroeder de Witt+4 more|arXiv (Cornell University)|Jun 7, 2020

Reinforcement Learning in Robotics参考文献 19被引用 16

一句话总结

本文提出 AI-QMIX，作为 QMIX 的扩展，通过引入注意力机制和想象的子情景，提升在动态环境中代理和实体数量可变的多智能体强化学习性能。通过学习共享的子团队模式并跨想象的配置分解价值函数，AI-QMIX 在网格世界和基于 StarCraft 的环境中实现了对多样化任务配置的更好泛化能力。

ABSTRACT

Real world multi-agent tasks often involve varying types and quantities of agents and non-agent entities. Agents frequently do not know a priori how many other agents and non-agent entities they will need to interact with in order to complete a given task, requiring agents to generalize across a combinatorial number of task configurations with each potentially requiring different strategies. In this work, we tackle the problem of multi-agent reinforcement learning (MARL) in such dynamic scenarios. We hypothesize that, while the optimal behaviors in these scenarios with varying quantities and types of agents/entities are diverse, they may share common patterns within sub-teams of agents that are combined to form team behavior. As such, we propose a method that can learn these sub-group relationships and how they can be combined, ultimately improving knowledge sharing and generalization across scenarios. This method, Attentive-Imaginative QMIX, extends QMIX for dynamic MARL in two ways: 1) an attention mechanism that enables model sharing across variable sized scenarios and 2) a training objective that improves learning across scenarios with varying combinations of agent/entity types by factoring the value function into imagined sub-scenarios. We validate our approach on both a novel grid-world task as well as a version of the StarCraft Multi-Agent Challenge minimally modified for the dynamic scenario setting. The results in these domains validate the effectiveness of the two new components in generalizing across dynamic configurations of agents and entities.

研究动机与目标

• 解决在代理和实体数量及类型不可预测变化的动态环境中进行多智能体强化学习（MARL）的挑战。
• 提升在需采用不同策略的组合爆炸式任务配置中的泛化能力。
• 通过识别并利用共有的子团队模式，在可变规模的情景中实现知识共享。
• 设计一种将价值函数分解为想象子情景的训练目标，以提升学习效率。
• 在网格世界和 StarCraft 多智能体挑战任务的动态变体上验证该方法。

提出的方法

• 引入一种注意力机制，使中心评论家能够动态关注可变规模情景中的相关代理和实体，从而在不同配置间实现参数共享。
• 设计一种训练目标，将全局价值函数分解为由代理和实体类型想象组合构成的子情景。
• 利用想象的子情景更稳健地训练价值函数，以提升在多样化配置中的泛化能力。
• 通过将基于注意力的价值分解与子情景分解相结合，扩展 QMIX 框架，以保持单调性与可扩展性。
• 使用经验回放和目标网络进行端到端训练，注意力模块根据当前团队构成动态路由信息。
• 将该方法应用于新型网格世界环境和修改版的 StarCraft 多智能体挑战，以测试动态泛化能力。

实验结果

研究问题

• RQ1 当代理和实体数量动态变化时，注意力机制是否能提升 MARL 中的泛化能力？
• RQ2 将价值函数分解为想象的子情景是否能提升在多样化配置中的学习效率与性能？
• RQ3 在动态多智能体任务中，子团队模式在多大程度上可被学习并复用以提升性能？
• RQ4 在代理与实体构成组合式变化的环境中，AI-QMIX 与标准 QMIX 相比表现如何？
• RQ5 所提出的方法能否在训练中未见过的配置上实现泛化？

主要发现

• AI-QMIX 在新型网格世界环境和修改版的 StarCraft 多智能体挑战中均优于标准 QMIX，展现出更高的样本效率和最终性能。
• 注意力机制通过动态聚焦于相关代理和实体，实现了在可变规模情景中的有效价值函数近似。
• 想象子情景的训练目标显著提升了泛化能力，使智能体在训练中未见过的配置上也能表现良好。
• 该方法成功学习并利用了子团队模式，实现了在不同代理与实体类型组合间的知识迁移。
• 实证结果表明，AI-QMIX 在比基线方法更广泛的动态配置中实现了泛化，尤其在复杂且组合爆炸的场景中表现更优。
• 消融实验确认，注意力机制与想象子情景目标均独立且协同地促进了性能提升。