[论文解读] Major-Minor Mean Field Multi-Agent Reinforcement Learning

Kai Cui, Christian Fabián+2 more|arXiv (Cornell University)|Mar 19, 2023

Auction Theory and ApplicationsDecision Sciences被引用 3

一句话总结

本文提出了一种名为大-小平均场控制（M3FC）的新框架，用于合作式多智能体强化学习，其能够建模同时包含大量随机性小智能体和一个或多个复杂大智能体的系统。该研究建立了严格的近似性质和动态规划原理，并提出了M3FPPO算法，该算法在多种M3FC类型环境中成功学习到有效策略，展现出跨系统规模的可迁移性。

ABSTRACT

Multi-agent reinforcement learning (MARL) remains difficult to scale to many agents. Recent MARL using Mean Field Control (MFC) provides a tractable and rigorous approach to otherwise difficult cooperative MARL. However, the strict MFC assumption of many independent, weakly-interacting agents is too inflexible in practice. We generalize MFC to instead simultaneously model many similar and few complex agents -- as Major-Minor Mean Field Control (M3FC). Theoretically, we give approximation results for finite agent control, and verify the sufficiency of stationary policies for optimality together with a dynamic programming principle. Algorithmically, we propose Major-Minor Mean Field MARL (M3FMARL) for finite agent systems instead of the limiting system. The algorithm is shown to approximate the policy gradient of the underlying M3FC MDP. Finally, we demonstrate its capabilities experimentally in various scenarios. We observe a strong performance in comparison to state-of-the-art policy gradient MARL methods.

研究动机与目标

• 为解决现有平均场控制（MFC）方法的局限性，即仅假设同质的小智能体，无法对复杂且具有影响力的大型智能体进行建模。
• 开发一个理论基础扎实的合作式多智能体强化学习框架，能够同时整合大智能体与随机相关的小智能体。
• 在有限与无限时域设置下，建立M3FC的近似性质与动态规划原理。
• 设计并评估一种新型多智能体强化学习算法M3FPPO，使其能够在M3FC类型问题中学习到有效策略。
• 证明在小系统上训练的策略可迁移至更大系统，从而实现可扩展部署。

提出的方法

• 提出马尔可夫决策过程与MFC的离散时间推广，以建模同时包含大智能体与大量小智能体的系统，允许小智能体的分布受大智能体状态的影响。
• 引入大-小平均场控制（M3FC）框架，其中小智能体的行为依赖于大智能体的状态与小智能体的经验分布，从而实现强相关性。
• 推导出用于求解M3FC问题的动态规划原理，实现策略的递归优化。
• 在无限时域折扣情形下，证明最优平稳策略的存在性，将理论基础扩展至合作式MFC。
• 提出大-小平均场近端策略优化（M3FPPO）算法，一种专为M3FC问题设计的新型多智能体强化学习算法。
• 采用集中训练、分散执行（CTDE）范式，其中大智能体可观测完整系统状态，而小智能体则基于局部观测与大智能体状态进行决策。

实验结果

研究问题

• RQ1 能否将平均场控制框架扩展至包含大智能体与随机相关小智能体，超越标准的独立同分布小智能体假设？
• RQ2 M3FC在有限多智能体系统中的理论近似性质是什么？与现有MFC模型相比有何差异？
• RQ3 M3FC的动态规划原理是否成立？能否用于推导最优策略？
• RQ4 M3FPPO算法能否在M3FC类型环境中有效学习合作策略，特别是在小系统上训练并在更大系统上迁移时？
• RQ5 与标准MARL基线方法如IPPO相比，M3FPPO在性能与跨系统规模泛化能力方面表现如何？

主要发现

• M3FPPO在所有测试的M3FC环境中均成功学习到有效策略，包括2G、Formation、Beach Bar、Foraging与Potential环境，即使在小规模有限系统上训练，也表现出强劲性能。
• 在Foraging与Beach Bar环境中，M3FPPO在直接于有限系统上训练时，性能优于IPPO，展现出更高的样本效率与更优的策略质量。
• 在小系统（N=5,10,20）上训练M3FPPO并将其策略迁移至更大系统，性能表现相当，表明其具备强大的泛化能力与可迁移性。
• 理论分析证实，在无限时域折扣M3FC设置下，最优平稳策略存在，进一步扩展了该框架的理论有效性。
• M3FC的动态规划原理得到严格推导，支持递归策略优化，为可扩展求解方法奠定了基础。
• 该框架成功建模了小智能体通过大智能体状态产生复杂依赖关系的情形，实现了与个体智能体无关的任意系统级效应建模。