[论文解读] Learning Mean-Field Games

Xin Guo, Anran Hu+2 more|arXiv (Cornell University)|Jan 28, 2019

Auction Theory and Applications参考文献 42被引用 8

一句话总结

本文提出了一种广义平均场博弈（GMFG）框架，用于在具有未知动态和奖励的大规模随机博弈中实现同时学习与决策。该研究引入了GMF-Q，一种采用Boltzmann策略的Q-learning算法，确保了收敛性与稳定性，在广告拍卖基准测试中，其收敛速度、准确性和鲁棒性均优于现有的多智能体强化学习方法。

ABSTRACT

This paper presents a general mean-field game (GMFG) framework for simultaneous learning and decision-making in stochastic games with a large population. It first establishes the existence of a unique Nash Equilibrium to this GMFG, and explains that naively combining Q-learning with the fixed-point approach in classical MFGs yields unstable algorithms. It then proposes a Q-learning algorithm with Boltzmann policy (GMF-Q), with analysis of convergence property and computational complexity. The experiments on repeated Ad auction problems demonstrate that this GMF-Q algorithm is efficient and robust in terms of convergence and learning accuracy. Moreover, its performance is superior in convergence, stability, and learning ability, when compared with existing algorithms for multi-agent reinforcement learning.

研究动机与目标

• 解决在具有未知奖励与转移动态的大规模随机博弈中实现同时学习与决策的挑战。
• 为超越经典MFG与MDP的广义平均场博弈（GMFG）框架建立理论基础。
• 克服在经典MFG中简单结合Q-learning与固定点方法所导致的不稳定性。
• 设计一种无需模型、可收敛的算法，并进行复杂度分析，以支持实际部署。
• 在实际应用（如重复广告拍卖）中展示所提算法的优越性能。

提出的方法

• 提出GMFG框架，整合动作分布、松弛策略与未知系统动态，推广经典MFG与McKean-Vlasov型MFG。
• 在适当的理论条件下，证明了纳什均衡的存在性与唯一性，超越局部或近似解的限制。
• 识别出在经典MFG中简单结合Q-learning与三步固定点方法所导致的不稳定性。
• 提出GMF-Q：一种采用Boltzmann策略的Q-learning算法，以稳定学习过程并确保收敛。
• 采用外-外迭代方案，内层进行Q-learning更新，其中平均场分布被迭代更新。
• 分析GMF-Q的收敛特性与计算复杂度，表明其具有多项式时间可扩展性。

实验结果

研究问题

• RQ1 具有未知动态与奖励的广义平均场博弈框架是否具有唯一的纳什均衡？
• RQ2 在大规模群体博弈中，当Q-learning与平均场固定点迭代结合时，能否实现稳定化？
• RQ3 所提出的GMF-Q算法在收敛性、稳定性与学习准确性方面相较于现有MARL算法表现如何？
• RQ4 GMF-Q在群体规模与状态-动作空间维度增加时，其可扩展性如何？
• RQ5 当真实转化率与动态分布未知时，GMF-Q能否实现高学习准确性？

主要发现

• 与GMF-V相比，GMF-Q在10,000轮内迭代后与真实Q表的相对L2距离为0.098879，表明学习准确率达到90%。
• 当N=20时，GMF-Q的误差最低（0.065），优于IL（误差0.220）与MF-Q（误差0.101），表现出更优的收敛性。
• 随着玩家数量N的增加，GMF-Q的误差减小，而MF-Q与IL的误差显著上升，表明其具有优越的可扩展性。
• GMF-Q在状态与动作空间规模增大时仍保持稳定收敛与低方差，而MF-Q与IL则面临收敛速度与准确率下降的问题。
• 简单结合Q-learning与固定点迭代的算法在L∞与L1范数上表现出持续波动，证实了经典方法的不稳定性。
• 该算法在真实广告拍卖模拟中表现出鲁棒性，展示了在部分可观测性与预算约束下高效且稳定的学习除了。