[論文レビュー] Mean Field Control and Mean Field Game Models with Several Populations

Alain Bensoussan, Tao Huang+1 more|arXiv (Cornell University)|Oct 1, 2018

Stochastic processes and financial applications参考文献 12被引用数 25

ひとこと要約

本稿は、2つの相互作用する大規模で区別できないエージェント集団を有する系に対して、平均場制御（MFC）および平均場ゲーム（MFG）理論を拡張する。変分法を用いて最適性のための随伴方程式を導出し、連合間の競争がマスター方程式の系を必要とすることを示す。線形二次モデルに対してはリッカティ型常微分方程式を用いて明示的解が得られる。

ABSTRACT

In this paper, we investigate the interaction of two populations with a large number of indistinguishable agents. The problem consists in two levels: the interaction between agents of a same population, and the interaction between the two populations. In the spirit of mean field type control (MFC) problems and mean field games (MFG), each population is approximated by a continuum of infinitesimal agents. We define four different problems in a general context and interpret them in the framework of MFC or MFG. By calculus of variations, we derive formally in each case the adjoint equations for the necessary conditions of optimality. Importantly, we find that in the case of a competition between two coalitions, one needs to rely on a system of Master equations in order to describe the equilibrium. Examples are provided, in particular linear-quadratic models for which we obtain systems of ODEs that can be related to Riccati equations.

研究の動機と目的

• 平均場近似を用いて、区別できないエージェントの2つの大規模集団間の相互作用をモデル化すること。
• 平均場制御（MFC）および平均場ゲーム（MFG）フレームワークを、集団間ダイナミクスを有する多集団設定に拡張すること。
• この文脈において4つの異なる問題定式化について、変分法を用いて必要最適性条件を導出すること。
• 競合的な2集団設定における均衡が、標準的な偏微分方程式ではなくマスター方程式の系を必要とすることを示すこと。
• 線形二次（LQ）モデルに対して、リッカティ方程式に関連する常微分方程式系を通じて明示的解を提供すること。

提案手法

• 2つの相互作用する集団を対象とする一般平均場枠組み内に、4つの異なる問題タイプ（CMFC、CMFG、NMFC、NMFG）を定式化する。
• 各ケースについて、必要最適性条件のための随伴方程式を導出するために変分法を適用する。
• 二次的コストおよび線形ダイナミクスを仮定し、線形二次（LQ）設定での明示的解を導出する。
• 値関数のアンザッツに基づく解形式を用いる：$ u_i(x,t) = \frac{1}{2}x^*P^i_tx + x^*\nu^i_t + \tau^i_t $、これにより$ P^i_t, \nu^i_t, \tau^i_t $のための常微分方程式系が得られる。
• 集団分布の下での値関数の期待勾配の進化を捉えるために、非対称リッカティ方程式を$ K^i_t \overline{m}_{i,t} = \int Du_i(x,t) m_i(x,t) dx $に対して導出する。
• CMFCおよびCMFG問題がLQケースで異なる常微分方程式系をもたらすことが示され、最適制御および均衡行動が別々であることが明らかになる。
• NMFCは他の3つの定式化とは別個の常微分方程式系を導出し、モデリングフレームワークの選択が解構造に顕著に影響することを確認する。

実験結果

リサーチクエスチョン

• RQ1 2つの大規模集団のエージェントが相互作用する場合、平均場制御および平均場ゲームモデルはどのように一般化されるか？
• RQ2 このような多集団平均場システムにおける必要最適性条件は何か？
• RQ3 なぜ競合的な2集団設定における均衡を記述するにはマスター方程式の系が必要となるのか？
• RQ4 線形二次モデルにおける導出された常微分方程式系はリッカティ方程式とどのように関係するか？
• RQ5 この多集団文脈において、CMFC、CMFG、NMFC、NMFGの各定式化における最適制御および均衡ダイナミクスの違いは何か？

主な発見

• 2つの大規模集団間の相互作用は、特に競合的状況では均衡を記述するためのマスター方程式の系を必要とする。
• 線形二次モデルでは、随伴方程式が$ P^i_t, \nu^i_t, \tau^i_t $のための常微分方程式系に簡略化され、終端条件は問題パラメータから導出される。
• $ K^i_t $に対して非対称リッカティ方程式が導出され、これは集団分布の下での値関数の期待勾配の進化を捉える。
• CMFCおよびCMFG問題はLQケースで異なる常微分方程式系をもたらし、最適制御および均衡行動が別個であることが示された。
• NMFC問題は他の3つの定式化とは別個の常微分方程式系を導出し、モデリングフレームワークの選択が解構造に顕著に影響することを裏付けた。
• すべての4つの問題タイプについて、LQ設定で明示的解が得られ、すべての成分が行列の常微分方程式およびリッカティ型方程式で表現された。