[论文解读] Mean field limit of a continuous time finite state game

Diogo A. Gomes, Joana Mohr+1 more|arXiv (Cornell University)|Nov 12, 2010

Stochastic processes and financial applications参考文献 11被引用 3

一句话总结

本文建立了具有 N+1 名玩家的连续时间、有限状态博弈的平均场极限，证明了当 N→∞ 时，N 名玩家对称马尔可夫完美均衡收敛于平均场模型。关键结果是通过在成本和转移速率满足利普希茨连续性和有界性假设下，对平均场动力学和终端成本值函数建立耦合的常微分方程，严格推导出值函数和策略的 O(1/N) 收敛速率。

ABSTRACT

Mean field games is a recent area of study introduced by Lions and Lasry in a series of seminal papers in 2006. Mean field games model situations of competition between large number of rational agents that play non-cooperative dynamic games under certain symmetry assumptions. They key step is to develop a mean field model, in a similar way that what is done in statistical physics in order to construct a mathematically tractable model. A main question that arises in the study of such mean field problems is the rigorous justification of the mean field models by a limiting procedure. In this paper we consider the mean field limit of two-state Markov decision problem as the number of players $N o \infty$. First we establish the existence and uniqueness of a symmetric partial information Markov perfect equilibrium. Then we derive a mean field model and characterize its main properties. This mean field limit is a system of coupled ordinary differential equations with initial-terminal data. Our main result is the convergence as $N o \infty$ of the $N$ player game to the mean field model and an estimate of the rate of convergence.

研究动机与目标

• 严格证明在具有部分信息的连续时间、有限状态、对称马尔可夫决策博弈中，平均场近似的合理性。
• 建立 N+1 名玩家博弈中对称部分信息马尔可夫完美均衡的存在性与唯一性。
• 将平均场模型推导为带有初值和终值条件的耦合常微分方程组。
• 证明当 N→∞ 时，N 名玩家博弈收敛于平均场模型，并给出显式的收敛速率估计。
• 将离散时间结果推广至连续时间，并扩展至非平稳、非遍历的设定。

提出的方法

• 将 N+1 名玩家博弈形式化为具有对称、部分信息策略的连续时间马尔可夫决策过程。
• 通过从汉密尔顿-雅可比-贝尔曼方程导出的非线性常微分方程组刻画对称马尔可夫完美均衡。
• 将平均场极限推导为一组耦合常微分方程：一个用于经验状态分布 θ(t) 及其初值条件，另一个用于值函数及其终值条件。
• 应用狄尼金公式和利普希茨估计，控制 N 名玩家与平均场模型之间值函数和策略的差异。
• 使用格朗沃尔型不等式，对值函数和策略分布的误差进行有界控制，从而得出 O(1/N) 的收敛速率。
• 通过在值函数和转移速率差异上施加一致有界性，控制误差在时间上的传播。

实验结果

研究问题

• RQ1 在具有部分信息的连续时间、有限状态 N 名玩家博弈中，对称马尔可夫完美均衡是否存在且唯一吗？
• RQ2 当 N→∞ 时，平均场极限能否被严格推导？其对应的方程组是什么？
• RQ3 N 名玩家博弈向平均场模型的收敛速度有多快？能否建立定量的收敛速率？
• RQ4 成本函数和转移函数需满足何种条件，才能保证平均场近似的稳定性和收敛性？
• RQ5 平均场模型是否适定？在与 N 名玩家博弈相同的假设下，其解是否唯一？

主要发现

• N 名玩家博弈存在唯一的对称部分信息马尔可夫完美均衡，其由一组非线性常微分方程系统刻画。
• 平均场极限是一个适定的初值-终值问题，由两个耦合的常微分方程组成：一个用于状态分布 θ(t) 及其初值，另一个用于值函数及其终值。
• 当 N→∞ 时，N 名玩家博弈的值函数和策略分布以 O(1/N) 的速率收敛于平均场模型的对应量。
• 该收敛速率在 TC < 1 的条件下成立，其中 T 为时域长度，C 为依赖于成本和转移函数利普希茨常数的常数。
• 证明依赖于对 N 名玩家与平均场模型之间值函数和策略差异应用格朗沃尔型估计，并利用转移速率差异的一致有界性。
• 误差界通过狄尼金公式和哈密顿函数的利普希茨连续性推导得出，从而确保了平均场近似的稳定性。