[论文解读] Finite State Mean Field Games with Major and Minor Players

René Carmona, Peiqi Wang|arXiv (Cornell University)|Oct 18, 2016

Stochastic processes and financial applications参考文献 3被引用 11

一句话总结

该论文为具有一个主要玩家和大量次要玩家的有限状态随机博弈构建了平均场博弈框架，证明了值函数满足哈密顿-雅可比-贝尔曼PIDE方程，并通过粘性解方法建立了纳什均衡的存在性。此外，论文展示了混沌传播现象，并表明平均场均衡可作为有限玩家博弈的近似纳什均衡，从而验证了平均场近似的有效性。

ABSTRACT

The goal of the paper is to develop the theory of finite state mean field games with major and minor players when the state space of the game is finite. We introduce the finite player games and derive a mean field game formulation in the limit when the number of minor players tends to infinity. In this limit, we prove that the value functions of the optimization problems are viscosity solutions of PIDEs of the HJB type, and we construct the best responses for both types of players. From there, we prove existence of Nash equilibria under reasonable assumptions. Finally we prove that a form of propagation of chaos holds in the present context and use this result to prove existence of approximate Nash equilibria for the finite player games from the solutions of the mean field games. this vindicate our formulation of the mean field game problem.

研究动机与目标

• 将平均场博弈理论扩展至具有一个主要玩家和大量次要玩家的有限状态空间系统。
• 形式化当次要玩家数量趋于无穷时，有限玩家博弈的极限。
• 证明玩家的值函数是HJB型PIDE的粘性解，并为两类玩家构造最优响应。
• 在合理假设下建立闭环纳什均衡的存在性。
• 通过混沌传播现象表明，平均场均衡可作为有限玩家博弈的近似纳什均衡。

提出的方法

• 为具有主要玩家和次要玩家不同信息结构与控制集的有限玩家博弈建模。
• 通过令次要玩家数量趋于无穷，推导平均场极限，并利用标准半群收敛结果证明马尔可夫过程的收敛性。
• 将主要玩家与次要玩家经验分布的联合动态刻画为具有无穷小生成元的马尔可夫过程。
• 采用Carmona & Tang (2013) 的替代方法，将纳什均衡定义为最优响应函数的不动点。
• 证明优化问题的值函数是哈密顿-雅可比-贝尔曼PIDE的粘性解。
• 应用格朗沃尔不等式与一致有界性，建立混沌传播现象，并证明有限博弈均衡收敛至平均场极限。

实验结果

研究问题

• RQ1 在具有一个主要玩家和大量次要玩家的有限状态平均场博弈中，纳什均衡在何种条件下存在？
• RQ2 当次要玩家数量趋于无穷时，玩家的值函数在极限下如何表现？
• RQ3 能否通过证明其解可作为有限玩家博弈的近似纳什均衡，来证明平均场博弈公式的合理性？
• RQ4 主要玩家的状态与控制在影响次要玩家状态经验分布方面起到何种作用？
• RQ5 在此类具有非对称玩家类型的平均场博弈设定中，混沌传播性质如何成立？

主要发现

• 主要玩家与次要玩家优化问题的值函数均为哈密顿-雅可比-贝尔曼PIDE的粘性解。
• 通过求解HJB PIDE，显式构造了主要玩家与次要玩家的最优响应。
• 在系数的常规正则性与有界性假设下，平均场博弈存在纳什均衡。
• 混沌传播性质成立，即在极限下，给定主要玩家路径时，次要玩家的状态条件独立。
• 平均场博弈均衡为有限玩家博弈提供了近似纳什均衡，误差界以 O(1/N) 的速率衰减，其中 N 为次要玩家数量。
• 联合过程 (X_t^0, μ_t) 和 (X_t^0, X_t, μ_t) 为马尔可夫过程，其概率分布由无穷小生成元刻画。