[论文解读] Multi-Agent MDP Homomorphic Networks

Elise van der Pol, Herke van Hoof+2 more|arXiv (Cornell University)|Oct 9, 2021

Reinforcement Learning in Robotics参考文献 36被引用 4

一句话总结

本文提出多智能体MDP同态网络，一种分布式深度强化学习框架，通过将全局对称性（如旋转对称性和置换对称性）分解为局部变换，以在合作式多智能体系统中强制实现这些对称性。该方法通过在对称的状态-动作配置间共享权重，实现数据高效的策略学习，同时保持完全分布式的执行方式，在猎物-捕食者和交通灯控制任务中优于非等变基线方法。

ABSTRACT

This paper introduces Multi-Agent MDP Homomorphic Networks, a class of networks that allows distributed execution using only local information, yet is able to share experience between global symmetries in the joint state-action space of cooperative multi-agent systems. In cooperative multi-agent systems, complex symmetries arise between different configurations of the agents and their local observations. For example, consider a group of agents navigating: rotating the state globally results in a permutation of the optimal joint policy. Existing work on symmetries in single agent reinforcement learning can only be generalized to the fully centralized setting, because such approaches rely on the global symmetry in the full state-action spaces, and these can result in correspondences across agents. To encode such symmetries while still allowing distributed execution we propose a factorization that decomposes global symmetries into local transformations. Our proposed factorization allows for distributing the computation that enforces global symmetries over local agents and local interactions. We introduce a multi-agent equivariant policy network based on this factorization. We show empirically on symmetric multi-agent problems that globally symmetric distributable policies improve data efficiency compared to non-equivariant baselines.

研究动机与目标

• 为在合作式多智能体强化学习中强制实现全局对称性，同时保持分布式执行提供解决方案。
• 通过利用联合状态-动作空间中的对称性，实现在无需集中计算的前提下实现数据高效的策略学习。
• 将单智能体等变学习技术扩展至具有复杂非置换对称性（如旋转）的多智能体系统。
• 开发一种将全局对称性分解为局部变换的方法，使每个智能体能够独立计算并强制执行这些变换。
• 证明全局等变性可提升对称多智能体环境中样本效率。

提出的方法

• 提出将联合状态-动作空间中的全局对称性分解为作用于单个智能体观测和动作的局部变换。
• 设计一种多智能体等变策略网络，利用正规群表示（群通道）来编码跨智能体的对称性不变特征。
• 通过在对称的状态-动作对之间应用保持对称性的权重共享，使用类似群卷积的操作强制实现等变性。
• 通过本地通信和本地计算强制实现全局对称性约束，避免集中式协调。
• 采用消息传递或图结构架构，在保留全局对称群下等变性的同时聚合本地信息。
• 将该框架应用于具有已知对称群（如二面体群用于旋转）的离散动作、合作式多智能体环境。

实验结果

研究问题

• RQ1 是否可以在保持分布式执行的同时，利用合作式多智能体系统中的全局对称性实现数据高效的策略学习？
• RQ2 如何将超越简单置换的全局对称性分解为可由各智能体独立执行的局部、智能体级变换，以支持分布式策略学习？
• RQ3 与非等变基线相比，强制实现全局等变性是否能提升对称多智能体环境中的样本效率？
• RQ4 所提出的方法是否能泛化至具有非平凡对称性的复杂协调问题（如具有复杂对称性的交通灯控制）？
• RQ5 在分布式设置中，对称性强制对收敛速度和最终策略性能有何影响？

主要发现

• 在猎物-捕食者变体中，所提方法在远少于非等变基线的环境交互次数内即实现了有效的联合策略。
• 该方法在对称多智能体协调任务中表现出更优的数据效率，学习有效策略的速度快于非等变基线方法。
• 在交通灯控制任务中，强制实现全局对称性使模型收敛更快，且平均车辆等待时间低于标准MPN和数据增强基线方法。
• 等变策略网络在更少的环境交互次数内达到更优性能，表明样本效率显著提升。
• 即使在高维状态空间的复杂协调问题中，全局对称性强制也改善了学习动态和最终策略质量。
• 该方法在玩具环境和现实世界启发的对称环境中，均优于非等变分布式网络。