[论文解读] Mean Field Control and Mean Field Game Models with Several Populations

Alain Bensoussan, Tao Huang+1 more|arXiv (Cornell University)|Oct 1, 2018

Stochastic processes and financial applications参考文献 12被引用 25

一句话总结

本文将平均场控制（MFC）与平均场博弈（MFG）理论扩展至由两个相互作用的大规模、不可区分智能体群体构成的系统。通过变分法，推导了最优性条件的伴随方程，并表明联盟之间的竞争需要一组主方程，线性二次模型的显式解可通过Riccati型常微分方程获得。

ABSTRACT

In this paper, we investigate the interaction of two populations with a large number of indistinguishable agents. The problem consists in two levels: the interaction between agents of a same population, and the interaction between the two populations. In the spirit of mean field type control (MFC) problems and mean field games (MFG), each population is approximated by a continuum of infinitesimal agents. We define four different problems in a general context and interpret them in the framework of MFC or MFG. By calculus of variations, we derive formally in each case the adjoint equations for the necessary conditions of optimality. Importantly, we find that in the case of a competition between two coalitions, one needs to rely on a system of Master equations in order to describe the equilibrium. Examples are provided, in particular linear-quadratic models for which we obtain systems of ODEs that can be related to Riccati equations.

研究动机与目标

• 使用平均场近似建模大规模、不可区分智能体的两组群体之间的相互作用。
• 将平均场控制（MFC）与平均场博弈（MFG）框架扩展至具有群体间动态的多群体设置。
• 在此背景下，针对四种不同的问题形式，通过变分法推导必要最优性条件。
• 证明在竞争性两群体设置中，均衡需依赖一组主方程而非标准PDE。
• 通过与Riccati方程相关的常微分方程组，为线性二次模型提供显式解。

提出的方法

• 在适用于两组相互作用群体的一般平均场框架下，提出四种不同的问题类型——CMFC、CMFG、NMFC、NMFG。
• 应用变分法，为每种情况推导必要最优性条件的伴随方程。
• 假设二次型代价与线性动力学，推导线性二次（LQ）设置下的显式解。
• 采用假设解的形式表示值函数：$ u_i(x,t) = \frac{1}{2}x^*P^i_tx + x^*\nu^i_t + \tau^i_t $，从而导出$ P^i_t, \nu^i_t, \tau^i_t $的常微分方程组。
• 推导出关于量$ K^i_t \overline{m}_{i,t} = \int Du_i(x,t) m_i(x,t) dx $的非对称Riccati方程，以捕捉在群体分布下值函数梯度期望的演化。
• 证明在LQ情形下，CMFC与CMFG问题产生不同的常微分方程组，而NMFC则产生另一组独立的系统。

实验结果

研究问题

• RQ1 当两组大规模智能体群体相互作用时，平均场控制与平均场博弈模型如何推广？
• RQ2 此类多群体平均场系统的必要最优性条件是什么？
• RQ3 为何在竞争性两群体设置中，描述均衡需要一组主方程而非标准PDE？
• RQ4 线性二次模型中所得的常微分方程组与Riccati方程有何关联？
• RQ5 在多群体背景下，CMFC、CMFG、NMFC与NMFG形式在最优控制与均衡动力学方面有何区别？

主要发现

• 两组大规模群体之间的相互作用需要一组主方程来描述均衡，尤其是在竞争性设置中。
• 对于线性二次模型，伴随方程可简化为$ P^i_t, \nu^i_t, \tau^i_t $的常微分方程组，终端条件由问题参数导出。
• 推导出关于$ K^i_t $的非对称Riccati方程，该方程捕捉了在群体分布下值函数梯度期望的演化。
• 在LQ情形下，CMFC与CMFG问题产生不同的常微分方程组，表明其最优控制与均衡行为存在显著差异。
• NMFC问题导出的常微分方程组与其他三种形式不同，证实建模框架的选择显著影响解的结构。
• 在LQ设置下，所有四种问题类型均获得显式解，所有分量均以矩阵常微分方程与Riccati型方程表示。