[论文解读] A Probabilistic Approach to Extended Finite State Mean Field Games

René Carmona, Peiqi Wang|arXiv (Cornell University)|Aug 23, 2018

Stochastic processes and financial applications参考文献 19被引用 7

一句话总结

本文通过局部鞅表示和倒向随机微分方程（BSDEs）提出了一种连续时间有限状态均场博弈的概率弱形式化方法。在闭环策略下，建立了纳什均衡的存在性与唯一性，并将框架扩展至同时包含状态均场与控制均场，克服了基于PDE方法的局限性。

ABSTRACT

We develop a probabilistic approach to continuous-time finite state mean field games. Based on an alternative description of continuous-time Markov chain by means of semimartingale and the weak formulation of stochastic optimal control, our approach not only allows us to tackle the mean field of states and the mean field of control in the same time, but also extend the strategy set of players from Markov strategies to closed-loop strategies. We show the existence and uniqueness of Nash equilibrium for the mean field game, as well as how the equilibrium of mean field game consists of an approximative Nash equilibrium for the game with finite number of players under different assumptions of structure and regularity on the cost functions and transition rate between states.

研究动机与目标

• 开发一种连续时间有限状态均场博弈的概率框架，以克服基于PDE方法的局限性。
• 在动力学和成本泛函中同时纳入状态均场与控制均场，该问题在基于PDE的方法下具有挑战性。
• 将策略集从马尔可夫策略扩展至闭环策略，允许控制依赖于状态的完整历史。
• 通过BSDEs与不动点论证，在弱形式下建立纳什均衡的存在性与唯一性。
• 为未来研究基于麦克斯韦-弗拉索夫型最优控制的有限状态均场代理人-委托问题奠定基础。

提出的方法

• 通过转移率矩阵（Q-矩阵）和鞅增量，对连续时间马尔可夫链使用局部鞅表示。
• 应用Girsanov定理通过测度变换弱形式化最优控制问题，将控制与测度变化联系起来。
• 通过由连续时间马尔可夫链驱动的麦克斯韦-弗拉索夫型BSDE刻画最优控制，其驱动项与终端条件依赖于解的分布。
• 采用弱形式化统一处理状态均场与控制均场，尽管后者更为复杂。
• 采用Schauder型不动点论证证明耦合前向-后向系统解的存在性。
• 应用由多个独立马尔可夫链驱动的线性BSDE的比较原理，以确保解的非负性与稳定性。

实验结果

研究问题

• RQ1 能否为有限状态均场博弈开发一种概率弱形式化方法，以容纳闭环策略？
• RQ2 在均场博弈框架内，如何以可处理的方式联合建模状态均场与控制均场？
• RQ3 在何种条件下可确保此类概率设定下纳什均衡的存在性与唯一性？
• RQ4 该框架能否扩展以建模具有最优契约设计的均场代理人-委托问题？
• RQ5 与经典的基于PDE的方法相比，通过测度变换与BSDEs实现的弱形式化在灵活性与分析可处理性方面有何优势？

主要发现

• 本文在成本函数与转移率的适当正则性与结构假设下，建立了均场博弈纳什均衡的存在性与唯一性。
• 在适当条件下（如时间区间较短或成本函数足够规则），均场博弈的均衡构成有限玩家博弈的近似纳什均衡。
• 弱形式化允许使用闭环策略——即控制依赖于状态的完整历史——从而超越了PDE方法所允许的马尔可夫策略。
• 该框架成功地将控制均场纳入动力学与成本泛函中，这是对基于PDE方法的重大改进，后者因最优控制的Fokker-Planck方程难以处理而难以实现此目标。
• 建立了由多个独立马尔可夫链驱动的线性BSDE的比较原理，确保在控制与转移率过程满足温和条件时解的非负性。
• 通过不动点论证表明，麦克斯韦-弗拉索夫型BSDE的解对应于纳什均衡，其中BSDE的驱动项编码了哈密顿函数与均场依赖性。