[论文解读] Linear Quadratic Mean Field Game with Control Input Constraint

Ying Hu, Huang Jianhui+1 more|arXiv (Cornell University)|Oct 19, 2016

Stochastic processes and financial applications参考文献 10被引用 3

一句话总结

本文通过基于投影的哈密顿系统研究了具有控制输入约束的线性-二次均场博弈，利用单调性方法建立了一致性条件的适定性，并在一般闭凸控制约束下证明了 $\epsilon$-纳什均衡，其中 $\epsilon = O(1/\sqrt{N})$，$N$ 为参与者数量。

ABSTRACT

In this paper, we study a class of linear-quadratic (LQ) mean-field games in which the individual control process is constrained in a closed convex subset $Γ$ of full space $\mathbb{R}^m$. The decentralized strategies and consistency condition are represented by a class of mean-field forward-backward stochastic differential equation (MF-FBSDE) with projection operators on $Γ$. The wellposedness of consistency condition system is obtained using the monotonicity condition method. The related $ε$-Nash equilibrium property is also verified.

研究动机与目标

• 研究大规模随机微分博弈中个体控制被约束于闭凸集 $\Gamma \subset \mathbb{R}^m$ 的情形。
• 基于局部信息和均场极限，推导去中心化的最优策略。
• 建立由均场前向-后向随机微分方程（MF-FBSDE）与投影算子导出的一致性条件系统的适定性。
• 验证在控制约束下所推导策略的 $\epsilon$-纳什均衡性质。
• 通过引入一般闭凸控制约束（包括禁止卖空和市场准入约束），推广现有线性-二次均场博弈（LQ-MFG）框架。

提出的方法

• 使用带有控制约束 $\Gamma$ 的线性-二次均场博弈框架建模问题。
• 应用随机最大值原理，推导出作用于 $\Gamma$ 上的投影算子的哈密顿系统。
• 将一致性条件表述为包含投影算子的均场前向-后向随机微分方程（MF-FBSDE）。
• 利用单调性条件方法证明 MF-FBSDE 系统的适定性。
• 利用投影算子的性质（如非扩张性和变分不等式刻画）分析系统动态。
• 通过 $L^2$-估计和 $O(1/\sqrt{N})$ 误差项，界定 $N$-参与者博弈与均场极限之间代价泛函的差异，从而建立收敛性。

实验结果

研究问题

• RQ1 当个体控制被约束于闭凸集 $\Gamma$ 时，如何刻画线性-二次均场博弈中的去中心化策略？
• RQ2 在控制约束存在的情况下，一致性条件系统的结构是什么？其是否适定？
• RQ3 所推导的策略能否构成 $\epsilon$-纳什均衡？当 $N \to \infty$ 时，收敛速率如何？
• RQ4 作用于 $\Gamma$ 上的投影算子如何影响哈密顿系统及由此产生的 MF-FBSDE？
• RQ5 在控制约束下，MF-FBSDE 与投影算子结合时，其解的存在性与唯一性需满足何种条件？

主要发现

• 在单调性条件下，以带投影算子的均场前向-后向随机微分方程（MF-FBSDE）表示的一致性条件系统是适定的。
• 最优去中心化策略通过涉及对约束集 $\Gamma$ 投影的哈密顿系统刻画。
• $\epsilon$-纳什均衡性质成立，且 $\epsilon = O(1/\sqrt{N})$，表明 $N$-参与者博弈收敛至均场极限。
• 通过 $L^2$-估计和投影算子不等式，$N$-参与者解与均场解之间代价泛函的误差被 $O(1/\sqrt{N})$ 有界。
• 投影算子 $\mathbf{P}_\Gamma$ 满足关键性质：非扩张性（$|\mathbf{P}_\Gamma[x] - \mathbf{P}_\Gamma[y]| \leq |x - y|$）和变分不等式（对所有 $y \in \Gamma$，有 $\langle \mathbf{P}_\Gamma[x] - x, \mathbf{P}_\Gamma[x] - y \rangle \leq 0$）。
• 分析表明，系统在一般闭凸控制约束下（包括正象限和一般锥体）仍保持稳定与一致。