[论文解读] Breaking the Curse of Dimensionality in Multiagent State Space: A Unified Agent Permutation Framework

Xiaotian Hao, Hangyu Mao+6 more|arXiv (Cornell University)|Mar 10, 2022

Reinforcement Learning in Robotics被引用 10

一句话总结

本文提出了一种统一的智能体排列框架，通过利用排列不变性（PI）和排列等变性（PE）来打破多智能体强化学习（MARL）中的维度灾难。通过引入动态排列网络（DPN）和超策略网络（HPN），该方法通过基于实体的PI输入模块和PE输出模块降低状态空间复杂度，在几乎所有困难和超难的SMAC场景中实现了100%的胜率——这是此前任何MARL算法都无法实现的成果。

ABSTRACT

The state space in Multiagent Reinforcement Learning (MARL) grows exponentially with the agent number. Such a curse of dimensionality results in poor scalability and low sample efficiency, inhibiting MARL for decades. To break this curse, we propose a unified agent permutation framework that exploits the permutation invariance (PI) and permutation equivariance (PE) inductive biases to reduce the multiagent state space. Our insight is that permuting the order of entities in the factored multiagent state space does not change the information. Specifically, we propose two novel implementations: a Dynamic Permutation Network (DPN) and a Hyper Policy Network (HPN). The core idea is to build separate entity-wise PI input and PE output network modules to connect the entity-factored state space and action space in an end-to-end way. DPN achieves such connections by two separate module selection networks, which consistently assign the same input module to the same input entity (guarantee PI) and assign the same output module to the same entity-related output (guarantee PE). To enhance the representation capability, HPN replaces the module selection networks of DPN with hypernetworks to directly generate the corresponding module weights. Extensive experiments in SMAC, Google Research Football and MPE validate that the proposed methods significantly boost the performance and the learning efficiency of existing MARL algorithms. Remarkably, in SMAC, we achieve 100% win rates in almost all hard and super-hard scenarios (never achieved before).

研究动机与目标

• 解决由于智能体数量增加而导致MARL中状态空间和动作空间呈指数级增长的问题。
• 克服由维度灾难引起的可扩展性差和样本效率低下的问题。
• 利用排列不变性（PI）和排列等变性（PE）作为归纳偏置，以降低状态空间复杂度。
• 设计一种可泛化的框架，可无缝集成到现有MARL算法中，而无需对网络架构进行大规模修改。
• 在包括SMAC、MPE和Google Research Football在内的多样化MARL基准测试中，实现卓越的性能和样本效率。

提出的方法

• 提出一种统一框架，利用PI和PE的归纳偏置，将多智能体状态空间规模降低1/m!倍。
• 引入动态排列网络（DPN），通过两个独立的模块选择网络，分别在输入端实现PI，在输出端实现PE。
• 设计超策略网络（HPN），用超网络替代DPN中的模块选择机制，实现端到端的模块权重生成。
• 采用基于实体的状体和动作表示，其中PI应用于输入特征，PE应用于输出动作，实现一一对应。
• 通过在模块选择或超网络中使用共享注意力机制，确保在所有排列下保持一致的模块分配。
• 将该框架集成到现有MARL算法（如QMIX、MAPPO和QPLEX）中，而无需修改其核心学习机制。

实验结果

研究问题

• RQ1 PI和PE的归纳偏置能否被有效利用，以降低MARL中多智能体状态空间的规模？
• RQ2 一种结合PI输入模块和PE输出模块的统一框架，在提升样本效率和可扩展性方面表现如何？
• RQ3 所提出的DPN和HPN方法是否能在多样化环境中超越现有的PI/PE基线方法和标准MARL算法？
• RQ4 PI输入模块的表征能力在多大程度上影响整体性能？
• RQ5 该框架是否可在不同MARL算法和基准测试中实现良好泛化？

主要发现

• HPN-QMIX在所有困难和超难的SMAC场景中均实现了100%胜率，这是此前任何MARL算法均未达到的成果。
• HPN-MAPPO和HPN-QPLEX在SMAC的5m_vs_6m和3s5z_vs_3s6z场景中显著优于其原始基线模型，证明了框架在不同算法间的泛化能力。
• 在MPE协作导航和捕食者-猎物任务中，HPN-MADDPG优于基于图神经网络的PIC、DA-MADDPG和原始MADDPG，展现出更优越的PI设计能力。
• 在Google Research Football中，HPN-QMIX在3_vs_1_with_keeper和counterattack_hard场景中均超越了SOTA方法CDS-QMIX，实现了更高的平均胜率。
• 消融实验表明，PE输出层以及通过超网络增强的输入表征能力，是性能提升的关键因素。
• 单纯增加模型规模（BIG-QMIX）无法提升性能，证实PI/PE设计优于仅通过参数量扩展的策略。