[论文解读] Finite mean field games: fictitious play and convergence to a first order continuous mean field game

Saeed Hadikhanloo, Francisco J. Silva|arXiv (Cornell University)|May 15, 2018

Stochastic processes and financial applications参考文献 33被引用 44

一句话总结

本文研究在单调性条件下有限时间/状态均值场博弈的虚拟博弈收敛，并且表明有限网格 MFG 的极限解为连续的一阶 MFG；它还通过网格细化将有限 MFG 与连续 MFG 均衡联系起来。

ABSTRACT

In this article we consider finite Mean Field Games (MFGs), i.e. with finite time and finite states. We adopt the framework introduced in Gomes Mohr and Souza in 2010, and study two seemly unexplored subjects. In the first one, we analyze the convergence of the fictitious play learning procedure, inspired by the results in continuous MFGs. In the second one, we consider the relation of some finite MFGs and continuous first order MFGs. Namely, given a continuous first order MFG problem and a sequence of refined space/time grids, we construct a sequence finite MFGs whose solutions admit limits points and every such limit point solves the continuous first order MFG problem.

研究动机与目标

• 在单调数据下，研究有限时间/状态 MFG 中虚拟博弈学习的收敛。
• 在时空网格上的有限 MFG 与其连续的一阶 MFG 对应之间建立联系。
• 证明通过细化有限 MFG 得到的均衡极限点解决连续的一阶 MFG 问题。

提出的方法

• 定义具有有限状态集合 S 和离散时间 T 的有限 MFG，以及成本 J_M(P) 如 (MFG d) 中所述。
• 给出动态规划原理 (DPP)，并在假设 (H1) 下证明存在性/唯一性。
• 通过 P_n = argmin J_{ar M_n}(P) 实现虚拟博弈，并按 (9) 更新 M_{n+1}, ar M_{n+1}。
• 在单调性 (H2) 和 Lipschitz 条件 (H2) 下证明虚拟博弈收敛到唯一的有限 MFG 均衡。
• 通过离散化时空将有限 MFG 与连续的一阶 MFG 联系起来，得到当网格长度趋近于零时的极限点，并证明这些极限点解连续问题 (Theorem 4.1)。
• 利用 Monge-Kantorovich 度量和广义抽象虚拟博弈框架来建立收敛性 (Theorem 3.1)。

实验结果

研究问题

• RQ1 在单调数据下，虚拟博弈是否会收敛于有限 MFG？
• RQ2 在细化的时空网格上的有限 MFG 的均衡是否收敛于连续的一阶 MFG 的均衡？
• RQ3 在什么条件下，有限 MFG 能够近似连续的一阶 MFG 问题？
• RQ4 随着网格变得更细，离散与连续设置中的均衡之间的关系是什么？

主要发现

• 在单调数据和唯一极小值假设下，有限 MFG 的虚拟博弈收敛，得到对有限 MFG 均衡的收敛性 (Theorem 3.2)。
• 运行成本和终端成本 f 和 g 的单调性且 Lipschitz 确保有限 MFG 的唯一均衡 (Proposition 3.1)。
• 一个广义的抽象虚拟博弈框架在单调性和唯一性下保证信念迭代收敛到均衡 (Theorem 3.1)。
• 在细化时空网格上定义的一系列有限 MFG 具有解相应连续一阶 MFG 问题的极限点 (Theorem 4.1)。
• 构造的有限 MFG 通过离散化逼近连续 MFG，并在极限中保持均衡结构，为有限与连续 MFG 理论之间搭建桥梁 (Section 4)。