[论文解读] Learning in Mean Field Games: A Survey

Mathieu Laurière, Sarah Perrin+6 more|arXiv (Cornell University)|May 25, 2022

Sports Analytics and Performance被引用 13

一句话总结

本综述系统性地概述了用于求解平均场博弈（Mean Field Games, MFGs）的强化学习（Reinforcement Learning, RL）方法，MFGs 是建模大规模群体战略互动的框架。通过将 MFGs 与马尔可夫决策过程（Markov Decision Processes, MDPs）相联系，本文回顾了用于在无模型设置下学习纳什均衡与社会最优解的迭代算法和深度强化学习技术，表明在基准问题的深度强化学习实现中，如乐观镜面下降（Optimistic Mirror Descent, OMD）等平滑化迭代方法优于标准的定点法或虚拟博弈方法。

ABSTRACT

Non-cooperative and cooperative games with a very large number of players have many applications but remain generally intractable when the number of players increases. Introduced by Lasry and Lions, and Huang, Caines and Malhamé, Mean Field Games (MFGs) rely on a mean-field approximation to allow the number of players to grow to infinity. Traditional methods for solving these games generally rely on solving partial or stochastic differential equations with a full knowledge of the model. Recently, Reinforcement Learning (RL) has appeared promising to solve complex problems at scale. The combination of RL and MFGs is promising to solve games at a very large scale both in terms of population size and environment complexity. In this survey, we review the quickly growing recent literature on RL methods to learn equilibria and social optima in MFGs. We first identify the most common settings (static, stationary, and evolutive) of MFGs. We then present a general framework for classical iterative methods (based on best-response computation or policy evaluation) to solve MFGs in an exact way. Building on these algorithms and the connection with Markov Decision Processes, we explain how RL can be used to learn MFG solutions in a model-free way. Last, we present numerical illustrations on a benchmark problem, and conclude with some perspectives.

研究动机与目标

• 系统化并澄清文献中关键 MFG 设置（静态、平稳、演化及折扣）的定义。
• 提出一个基于 MDP 理论的统一框架，用于经典迭代方法（如定点法、策略迭代）在 MFG 中的应用。
• 弥合 MFGs 与无模型强化学习（特别是深度强化学习）之间的鸿沟，以实现对复杂、高维博弈的可扩展求解。
• 通过诸如可 exploitability 和 Wasserstein 距离等指标，在基准问题上对基于 RL 的 MFG 求解器进行数值评估与比较。
• 识别开放性挑战，如分布近似与基准标准化问题，并倡导采用共享框架（如 OpenSpiel）以促进研究的可复现性与可比性。

提出的方法

• 将 MFGs 分类为静态、平稳与演化设置，并基于 MDP 和前向-后向 PDE/SDE 系统提供形式化定义。
• 提出基于最优响应计算与策略评估的迭代算法，包括定点法、虚拟博弈法以及乐观镜面下降（Optimistic Mirror Descent, OMD）。
• 应用平滑技术（如阻尼更新、softmax、Boltzmann 策略）以提升高维设置下迭代方法的收敛性。
• 通过将代表性智能体的问题建模为依赖于平均场的 MDP（即奖励与转移概率依赖于平均场），将 MFG 求解方法转化为 RL 框架。
• 在无模型强化学习设置中采用深度 Q 网络与策略梯度方法，其中智能体在估计群体分布的同时学习策略。
• 使用四房间网格世界环境作为基准，采用的评估指标包括可 exploitability 与真实均衡分布之间的 Wasserstein 距离。

实验结果

研究问题

• RQ1 在深度强化学习实现中，不同迭代 MFG 求解方法（如定点法、虚拟博弈法、OMD）在收敛性与稳定性方面如何比较？
• RQ2 在缺乏环境动力学先验知识的情况下（即在无模型设置下），标准强化学习算法在多大程度上能够学习到 MFG 中的纳什均衡？
• RQ3 在深度强化学习设置中，平滑技术（如 softmax、阻尼更新）如何提升迭代 MFG 求解器的性能？
• RQ4 在数值实验中，哪些指标（如 exploitability、Wasserstein 距离）最能有效捕捉所学 MFG 均衡的质量？
• RQ5 在将 MFG 学习扩展至复杂环境时，主要挑战是什么，特别是群体分布的表示与更新方面？

主要发现

• 深度强化学习版本的纯定点迭代在四房间基准测试中无法收敛，表明未经平滑化的更新方案存在不稳定性。
• 深度强化学习版本的乐观镜面下降（OMD）在可 exploitability 与分布准确性方面始终优于定点法与虚拟博弈基线。
• 如 softmax 与阻尼更新等平滑方法显著提升了深度强化学习设置下迭代 MFG 求解器的收敛性与稳定性。
• 可 exploitability 与 Wasserstein 距离是评估所学 MFG 均衡质量的有效指标，数值越低表示越接近纳什均衡。
• 本研究证实，将精确的迭代方法与深度强化学习相结合是一种可行策略，有助于识别出稳定且高性能的强化学习算法。
• 作者倡导建立标准化的基准与共享代码库（如 OpenSpiel），以提升未来 MFG-RL 研究的可复现性与可比性。