[论文解读] Approximate Fictitious Play for Mean Field Games

Romuald Élie, Julien Pérolat+3 more|arXiv (Cornell University)|Jul 4, 2019

Experimental Behavioral Economics Studies参考文献 21被引用 19

一句话总结

本文提出了一种用于平均场博弈（Mean Field Games, MFG）的近似虚幻博弈框架，其中代理通过无模型强化学习（Reinforcement Learning, RL）学习其最优响应，从而在标准MFG动态下收敛至近似非平稳纳什均衡。该研究首次在连续动作空间中建立了无模型RL算法向此类均衡的理论收敛性。

ABSTRACT

The theory of Mean Field Games (MFG) allows characterizing the Nash equilibria of an infinite number of identical players, and provides a convenient and relevant mathematical framework for the study of games with a large number of agents in interaction. Until very recently, the literature only considered Nash equilibria between fully informed players. In this paper, we focus on the realistic setting where agents with no prior information on the game learn their best response policy through repeated experience. We study the convergence to a (possibly approximate) Nash equilibrium of a fictitious play iterative learning scheme where the best response is approximately computed, typically by a reinforcement learning (RL) algorithm. Notably, we show for the first time convergence of model free learning algorithms towards non-stationary MFG equilibria, relying only on classical assumptions on the MFG dynamics. We illustrate our theoretical results with a numerical experiment in continuous action-space setting, where the best response of the iterative fictitious play scheme is computed with a deep RL algorithm.

研究动机与目标

• 建模代理在缺乏先验知识的情况下通过重复交互进行学习的现实学习场景。
• 分析当最优响应通过强化学习近似时，迭代虚幻博弈的收敛性。
• 在仅使用MFG动态的经典假设下，将理论收敛结果扩展至非平稳MFG均衡。
• 通过数值验证展示无模型RL在连续动作空间MFG设置中的可行性。

提出的方法

• 采用迭代虚幻博弈方案，代理根据其他代理动作的经验频率更新其策略。
• 使用无模型强化学习算法（如深度RL）近似最优响应策略。
• 引入一种学习规则，基于历史动作频率和近似最优响应更新代理策略。
• 依赖对MFG动态的标准假设，包括值函数的利普希茨连续性和正则性。
• 使用函数逼近（例如深度神经网络）在连续动作空间中表示策略和值函数。
• 采用双时间尺度学习更新机制以稳定策略和值函数估计。

实验结果

研究问题

• RQ1 在平均场博弈中，结合近似最优响应的虚幻博弈能否收敛至纳什均衡？
• RQ2 在经典MFG假设下，无模型强化学习是否能收敛至非平稳MFG均衡？
• RQ3 当最优响应通过深度RL在连续动作空间中计算时，收敛行为如何变化？
• RQ4 在无信息代理的大规模群体博弈中，学习的理论保证是什么？

主要发现

• 本文证明了近似虚幻博弈方案在平均场博弈中收敛至（可能为近似）纳什均衡。
• 收敛性在MFG动态的标准假设下得到证明，包括利普希茨连续性和光滑性。
• 该框架成功支持了在连续动作空间中使用深度强化学习近似最优响应的策略学习。
• 数值实验验证了在连续动作空间MFG设置下学习动态的收敛性和稳定性。
• 该结果是首次在经典假设下，为非平稳MFG均衡中无模型RL算法提供理论收敛保证。
• 该方法使代理无需事先了解博弈结构即可实现学习，适用于现实世界的大规模多智能体系统。