[论文解读] A General Framework for Learning Mean-Field Games

Xin Guo, Anran Hu+2 more|arXiv (Cornell University)|Mar 13, 2020

Experimental Behavioral Economics Studies被引用 4

一句话总结

该论文提出了一种通用的均场博弈学习框架（GMFG），将强化学习与平滑策略相结合，确保了算法的稳定性和收敛性。在较弱条件下建立了纳什均衡的存在性与唯一性，并在均衡定价和拍卖问题中，相较于现有的N玩家多智能体强化学习方法，展示了GMF-V-Q与GMF-P-TRPO在收敛速度、精度和稳定性方面的优越性能。

ABSTRACT

This paper presents a general mean-field game (GMFG) framework for simultaneous learning and decision-making in stochastic games with a large population. It first establishes the existence of a unique Nash Equilibrium to this GMFG, and demonstrates that naively combining reinforcement learning with the fixed-point approach in classical MFGs yields unstable algorithms. It then proposes value-based and policy-based reinforcement learning algorithms (GMF-V and GMF-P, respectively) with smoothed policies, with analysis of their convergence properties and computational complexities. Experiments on an equilibrium product pricing problem demonstrate that GMF-V-Q and GMF-P-TRPO, two specific instantiations of GMF-V and GMF-P, respectively, with Q-learning and TRPO, are both efficient and robust in the GMFG setting. Moreover, their performance is superior in convergence speed, accuracy, and stability when compared with existing algorithms for multi-agent reinforcement learning in the $N$-player setting.

研究动机与目标

• 开发一种适用于大规模群体随机博弈中同步学习与决策的通用框架。
• 解决将强化学习与经典定点法直接结合时在均场博弈中导致的不稳定性问题。
• 为所提出的GMFG框架建立纳什均衡存在性与唯一性的理论保证。
• 设计基于价值和基于策略的强化学习算法，采用平滑策略以确保收敛性与低计算复杂度。
• 通过实验验证该框架相较于现有N玩家多智能体强化学习算法在收敛速度、精度和稳定性方面的优越性。

提出的方法

• 提出一种包含动作分布与松弛策略的通用均场博弈（GMFG）框架，扩展了经典MFG与McKean-Vlasov型模型。
• 采用三步定点法：(1) 给定群体分布求解最优策略，(2) 通过动力学更新群体状态-动作分布，(3) 迭代直至收敛。
• 在基于价值（GMF-V）与基于策略（GMF-P）的算法中引入平滑策略，以确保稳定性和收敛性。
• 在转移动态与策略映射满足Lipschitz连续性和有界性假设下，利用Banach定点定理证明收敛性。
• 使用1-型Wasserstein距离 $W_1$ 衡量策略与群体状态-动作序列之间的分布差异。
• 采用Q-learning（GMF-V-Q）与TRPO（GMF-P-TRPO）作为实例化方法，并对样本复杂度与计算复杂度进行理论分析。

实验结果

研究问题

• RQ1 能否设计一种通用框架，统一大规模群体随机博弈中的学习与决策，并实现稳定收敛？
• RQ2 为何在经典MFG中简单结合强化学习与定点法会导致算法不稳定？
• RQ3 在所提出的GMFG框架中，纳什均衡存在的条件是什么？
• RQ4 基于策略的强化学习能否在均场博弈中实现全局收敛？其与基于价值的方法相比表现如何？
• RQ5 相较于现有N玩家多智能体强化学习算法，所提出的GMFG框架在收敛速度、精度与稳定性方面表现如何？

主要发现

• 在较弱技术条件下，GMFG框架可保证纳什均衡的存在性与唯一性，具体条件为：当固定点映射满足 $d_1d_2 + d_3 < 1$ 时。
• 简单结合强化学习与经典定点法会导致算法不稳定，因此必须采用平滑策略以保证稳定性。
• GMF-V-Q与GMF-P-TRPO在GMFG设置中均表现出高效且稳健的性能，其中GMF-P-TRPO是首个在均场博弈中实现全局收敛的基于策略的算法。
• 在均衡产品定价问题的实验中，GMF-V-Q与GMF-P-TRPO在收敛速度、精度与稳定性方面均优于现有N玩家多智能体强化学习算法。
• 该框架的理论基础建立在Banach定点定理之上，收敛性通过在1-Wasserstein距离下策略与分布映射的Lipschitz连续性得到证明。
• 该框架不仅超越了经典MFG，还将具有样本复杂度保证的单智能体强化学习算法推广至均场设置。