[论文解读] From infinity to one: The reduction of some mean field games to a global control problem

Olivier Guéant|arXiv (Cornell University)|Oct 15, 2011

Complex Systems and Time Series Analysis参考文献 9被引用 27

一句话总结

本文通过证明高维哈密顿-雅可比方程（源自规划问题）的解经微分后可生成麦克斯韦-费尔米气体博弈方程的解，建立了图上麦克斯韦-费尔米气体博弈与全局确定性控制问题之间的联系。关键贡献在于，描述具有共同噪声系统的主方程（Master equations）自然地作为该全局值函数的偏导数出现，从而将一个复杂的去中心化博弈简化为单一优化问题。

ABSTRACT

This paper presents recent results from Mean Field Game theory underlying the introduction of common noise that imposes to incorporate the distribution of the agents as a state variable. Starting from the usual mean field games equations introduced by J.M. Lasry and P.L. Lions and adapting them to games on graphs, we introduce a partial differential equation, often referred to as the Master equation, from which the MFG equations can be deduced. Then, this Master equation can be reinterpreted using a global control problem inducing the same behaviors as in the non-cooperative initial mean field game.

研究动机与目标

• 建立图上麦克斯韦-费尔米气体博弈动力学向单一全局控制问题的约化。
• 证明在具有共同噪声的博弈中使用的主方程可作为高维哈密顿-雅可比方程解的梯度导出。
• 提供一种从全局规划问题的光滑解构造纳什-麦克斯韦-费尔米气体博弈均衡的方法。
• 在不依赖于概率测度空间上的微积分的前提下，为离散图基设置中的主方程提供一种新解释。
• 为高维哈密顿-雅可比方程的数值求解开辟路径，作为无限维麦克斯韦-费尔米气体问题的近似方法。

提出的方法

• 形式化定义具有连续时间马尔可夫转移和个体玩家特定代价函数的有向图上的麦克斯韦-费尔米气体博弈。
• 引入离散形式的主方程，该方程推广了麦克斯韦-费尔米气体方程并纳入了共同噪声效应。
• 定义一个全局规划问题，其解满足高维哈密顿-雅可比方程。
• 证明该值函数的偏导数可导出主方程的组成部分，从而将全局优化与局部博弈动态联系起来。
• 建立从值函数梯度导出的最优控制策略可诱导出纳什-麦克斯韦-费尔米气体博弈均衡。
• 利用值函数为C²的性质，应用微分法则验证所得系统满足主方程。

实验结果

研究问题

• RQ1 图上的麦克斯韦-费尔米气体博弈能否约化为单一全局控制问题？
• RQ2 在离散设置中，主方程如何被解释为源于高维哈密顿-雅可比方程？
• RQ3 图基麦克斯韦-费尔米气体博弈中，规划问题的解与纳什-麦克斯韦-费尔米气体博弈均衡之间存在何种关系？
• RQ4 高维值函数的偏导数能否在图设置中恢复主方程？
• RQ5 在何种条件下，哈密顿-雅可比方程的解可生成有效的麦克斯韦-费尔米气体博弈均衡？

主要发现

• 对全局规划问题的哈密顿-雅可比方程的解关于状态分布进行微分后，可生成纳什-麦克斯韦-费尔米气体博弈均衡。
• 在离散图设置中，主方程在形式上等价于全局控制问题中值函数的偏导数。
• 从值函数梯度导出的最优控制策略满足纳什-麦克斯韦-费尔米气体博弈均衡的必要条件。
• 由值函数梯度导出的方程组与主方程一致，证实其与完整麦克斯韦-费尔米气体框架的自洽性。
• 在标准假设下该约化成立：超线性代价函数、C²且强凸代价、C¹哈密顿函数且其argmax有良好定义。
• 该框架为高维哈密顿-雅可比方程的数值求解提供了路径，可作为无限维麦克斯韦-费尔米气体问题的近似方法。