[论文解读] Convergence of large population games to mean field games with interaction through the controls

Mathieu Laurière, Ludovic Tangpi|arXiv (Cornell University)|Apr 17, 2020

Stochastic processes and statistical mechanics被引用 7

一句话总结

本文通过前向-后向随机微分方程（FBSDE）的混沌传播和集中不等式，建立了大群体随机微分博弈中通过控制相互作用的纳什均衡的非渐近收敛速率。证明了在控制相互作用下，$N$-玩家均衡控制以 $O(N^{-1/2})$ 的速率收敛至平均场均衡，且给出了矩和尾部界。

ABSTRACT

This work considers stochastic differential games with a large number of players, whose costs and dynamics interact through the empirical distribution of both their states and their controls. We develop a new framework to prove convergence of finite-player games to the asymptotic mean field game. Our approach is based on the concept of propagation of chaos for forward and backward weakly interacting particles which we investigate by stochastic analysis methods, and which appear to be of independent interest. These propagation of chaos arguments allow to derive moment and concentration bounds for the convergence of Nash equilibria.

研究动机与目标

• 严格建立 $N$-玩家随机微分博弈中通过控制相互作用的纳什均衡向平均场博弈极限的收敛性。
• 基于前向-后向SDE的弱相互作用系统，提出一种新颖的混沌传播框架，其具有联合状态-控制相互作用。
• 推导大-$N$极限下均衡控制收敛性的非渐近矩和集中不等式界。
• 将现有平均场博弈理论扩展至动态和成本显式依赖于控制经验分布（而非仅状态）的情形。
• 为 $N$-玩家系统中控制经验分布提供无维数集中不等式。

提出的方法

• 通过 $(X^i, α^i)$ 的经验测度形式化 $N$-玩家博弈，采用麦凯恩-弗拉索夫型动力学和成本函数，实现状态与控制依赖的相互作用。
• 应用庞特里亚金最大值原理，通过耦合的前向-后向随机微分方程（FBSDE）刻画 $N$-玩家和平均场博弈均衡。
• 通过伊藤随机分析和矩估计，分析 $N$-玩家与平均场解之间的差异，建立耦合 FBSDE 系统的混沌传播。
• 在 Lipschitz 和凸性假设下，通过 FBSDE 的稳定性分析，推导出 $N$-玩家与平均场控制过程之间 $L^2$-距离的统一 $N$-有界性。
• 利用塔拉格兰德的 $T_2$ 不等式和对数索波列夫型论证，推导控制经验分布的无维数集中不等式。
• 结合矩估计与集中不等式，获得 $N$-玩家控制相对于平均场极限偏离的非渐近尾部界。

实验结果

研究问题

• RQ1 当相互作用通过控制的经验分布发生时，$N$-玩家随机微分博弈中的纳什均衡控制向平均场均衡收敛的速度如何？
• RQ2 混沌传播论证能否扩展至具有联合状态-控制相互作用的 FBSDE 系统，以获得非渐近收敛速率？
• RQ3 在一般正则性和凸性条件下，$N$-玩家均衡控制相对于平均场极限的偏差的矩和尾部界是什么？
• RQ4 集中测度技术能否为具有控制相互作用的大群体博弈中的控制经验分布提供无维数界？
• RQ5 在存在共同噪声或非马尔可夫结构的情况下，这些结果在多大程度上可推广至闭环或反馈控制，而不仅限于开环控制？

主要发现

• 本文在正则性和凸性条件下，建立了 $N$-玩家博弈均衡控制向平均场均衡的非渐近 $L^2$ 收敛速率 $O(N^{-1/2})$。
• 证明了期望平方偏差 $\mathbb{E}[|\hat{\alpha}^{i,N}_t - \hat{\alpha}^i_t|^2]$ 有界于 $C N^{-1}$，其中常数 $C$ 依赖于问题参数。
• 推导出集中不等式，得到形如 $\mathbb{P}(\mathcal{W}_2(L^N(\hat{\alpha}_t), \mathcal{L}(\hat{\alpha}_t)) \geq a) \leq C e^{-K N a^2}$ 的尾部界，且为无维数形式。
• 混沌传播论证被扩展至通过状态和控制实现弱相互作用的 FBSDE 系统，从而支持对控制相互作用博弈的分析。
• 在时间 horizon $T$ 较小或较大时，只要满足适当的单调性或小时间条件，结果依然成立。
• 分析确认，即使成本和动态显式依赖于控制的经验分布，平均场极限仍是大但有限 $N$ 的有效近似。