[论文解读] Mean-Field Linear-Quadratic Stochastic Differential Games in an Infinite Horizon

Xun Li, Jingtao Shi+1 more|arXiv (Cornell University)|Jul 12, 2020

Stochastic processes and financial applications参考文献 51被引用 5

一句话总结

本文建立了无限时域下两人均值场线性-二次随机微分博弈的开环与闭环纳什均衡的存在性与表征。证明了对于均值场LQ最优控制问题，开环可解性与闭环可解性等价，并通过耦合的代数Riccati方程与稳定解对均衡进行表征。

ABSTRACT

This paper is concerned with two-person mean-field linear-quadratic non-zero sum stochastic differential games in an infinite horizon. Both open-loop and closed-loop Nash equilibria are introduced. Existence of an open-loop Nash equilibrium is characterized by the solvability of a system of mean-field forward-backward stochastic differential equations in an infinite horizon and the convexity of the cost functionals, and the closed-loop representation of an open-loop Nash equilibrium is given through the solution to a system of two coupled non-symmetric algebraic Riccati equations. The existence of a closed-loop Nash equilibrium is characterized by the solvability of a system of two coupled symmetric algebraic Riccati equations. Two-person mean-field linear-quadratic zero-sum stochastic differential games in an infinite time horizon are also considered. Both the existence of open-loop and closed-loop saddle points are characterized by the solvability of a system of two coupled generalized algebraic Riccati equations with static stabilizing solutions. Mean-field linear-quadratic stochastic optimal control problems in an infinite horizon are discussed as well, for which it is proved that the open-loop solvability and closed-loop solvability are equivalent.

研究动机与目标

• 开发两人非零和无限时域均值场线性-二次随机微分博弈的系统理论。
• 通过前向-后向随机微分方程与代数Riccati方程的可解性条件，表征开环与闭环纳什均衡的存在性。
• 将现有无限时域LQ控制与零和博弈结果推广至均值场设定，包括开环与闭环可解性之间的等价性。
• 通过带静态稳定解的广义代数Riccati方程，研究零和均值场LQ博弈中鞍点的存在性。
• 将开环与闭环鞍点之间等价性的问题留待未来研究。

提出的方法

• 引入带有状态与控制期望的均值场随机微分方程（MF-SDE），以建模大规模群体中的相互作用。
• 将成本泛函定义为状态、控制及其期望的二次型，系数随时间变化。
• 通过均值场前向-后向随机微分方程系统（MF-FBSDEs）的可解性与成本泛函的凸性，表征开环纳什均衡。
• 通过求解两个耦合的非对称代数Riccati方程，推导开环均衡的闭环表示。
• 通过两个耦合的对称代数Riccati方程的可解性，建立闭环纳什均衡的存在性。
• 通过带静态稳定解的广义代数Riccati方程分析零和博弈，并证明最优控制问题中开环与闭环可解性的等价性。

实验结果

研究问题

• RQ1 在无限时域均值场LQ随机微分博弈中，开环纳什均衡存在的条件是什么？
• RQ2 开环纳什均衡的闭环表示如何通过代数Riccati方程表征？
• RQ3 在该均值场设定下，闭环纳什均衡存在的条件是什么？
• RQ4 零和均值场LQ博弈中的鞍点如何通过广义代数Riccati方程表征？
• RQ5 在标准LQ控制中已知的开环与闭环可解性等价性，在均值场LQ随机设定下是否依然成立？

主要发现

• 当且仅当相关的均值场前向-后向随机微分方程系统可解且成本泛函为凸时，开环纳什均衡存在。
• 开环纳什均衡的闭环表示由两个耦合的非对称代数Riccati方程的解给出。
• 当且仅当两个耦合的对称代数Riccati方程系统可解时，闭环纳什均衡存在。
• 对于零和博弈，当且仅当一个带有静态稳定解的两个耦合广义代数Riccati方程系统可解时，开环与闭环鞍点均存在。
• 对于无限时域下的均值场LQ最优控制问题，开环可解性与闭环可解性等价。
• 本文指出一个关键开放问题：在零和均值场LQ博弈中，开环与闭环鞍点之间的等价性是否成立，该问题尚未解决。