[論文レビュー] The Master Equation in Mean Field Theory

Alain Bensoussan, Jens Frehse+1 more|arXiv (Cornell University)|Apr 16, 2014

Stochastic processes and financial applications参考文献 3被引用数 8

ひとこと要約

本稿は、平均場理論におけるマスター方程式の代表的エージェントフレームワークを確立し、有限プレイヤーのナッシュ均衡に依存せずに、平均場型制御問題から直接導出可能であることを示している。主な貢献は、平均場制御におけるマスター方程式の完全な特徴付けと、関連する確率的HJB-FP系を通じたマスター方程式の平均場ゲームにおける回復であり、凸性とフィードバック制御を有するシステミックリスクモデルにおける明示的解により検証されている。

ABSTRACT

In his lectures at College de France, P.L. Lions introduced the concept of Master equation, see [5] for Mean Field Games. It is introduced in a heuristic fashion, from the system of partial differential equations, associated to a Nash equilibrium for a large, but finite, number of players. The method, also explained in[2], consists in a formal analogy of terms. The interest of this equation is that it contains interesting particular cases, which can be studied directly, in particular the system of HJB-FP (Hamilton-Jacobi-Bellman, Fokker-Planck) equations obtained as the limit of the finite Nash equilibrium game, when the trajectories are independent, see [4]. Usually, in mean field theory, one can bypass the large Nash equilibrium, by introducing the concept of representative agent, whose action is influenced by a distribution of similar agents, and obtains directly the system of HJB-FP equations of interest, see for instance [1]. Apparently, there is no such approach for the Master equation. We show here that it is possible. We first do it for the Mean Field type control problem, for which we interpret completely the Master equation. For the Mean Field Games itself, we solve a related problem, and obtain again the Master equation.

研究の動機と目的

• 有限プレイヤーのナッシュ均衡の構成に依存せずに、平均場理論におけるマスター方程式に対する直接的かつ代表的エージェントベースのアプローチを開発すること。
• 確率的HJBおよびフォッカー・プランク方程式を用いて、平均場型制御問題におけるマスター方程式の完全な特徴付けを行うこと。
• 関連問題の解法を通じて、マスター方程式を平均場ゲームに拡張すること。
• 相互銀行取引のダイナミクスを有するシステミックリスクモデルにおいて明示的解を提供することで、アプローチを検証すること。
• 共通ノイズと非線形相互作用が存在する状況においても、マスター方程式が代表的エージェント形式から導出可能であることを示すこと。

提案手法

• 確率測度上の汎関数のゲートオー微分可能性を用いた、マスター方程式の形式的導出により、分布空間における微分積分学を可能にする。
• 確率的最適制御原理と確率的HJB方程式の適用により、平均場制御問題における価値関数と随伴ダイナミクスを導出する。
• 価値関数の分布依存性を捉えるために、測度変数における2階微分を含むPDE系としてマスター方程式を導出する。
• フィードバック制御下での状態分布の時間発展を記述するためのフォッカー・プランク方程式を、最適性を保証するHJB方程式と結合する。
• 他のエージェントの経験的分布に依存するエージェントの行動を有する代表的エージェントモデルを構築し、マスター方程式の直接的導出を可能にする。
• アンザッツ $ U(x,m,t) = \frac{1}{2}(x-y)^2P(t) + R(m_1,t) $ を用いた明示的解法により、PDEを $ P(t) $ と $ R(t) $ の常微分方程式系に簡略化する。

実験結果

リサーチクエスチョン

• RQ1 平均場理論におけるマスター方程式は、有限プレイヤーのナッシュ均衡を経由せずに、代表的エージェントモデルから直接導出可能か？
• RQ2 平均場型制御問題の文脈において、マスター方程式の完全な特徴付けは何か？
• RQ3 関連する制御問題の定式化を通じて、平均場ゲームにおけるマスター方程式はどのように回復可能か？
• RQ4 非線形的で確率的な平均場系において、マスター方程式の解の存在性と一意性を保証する条件は何か？
• RQ5 共通ノイズと線形二次構造を有するシステミックリスクモデルにおいて、マスター方程式の明示的解を構築可能か？

主な発見

• マスター方程式は、有限プレイヤーのナッシュ均衡分析を経由せずに、平均場型制御問題における代表的エージェント形式から成功裏に導出された。
• システミックリスクモデルにおいて、$ P(t) $ と $ R(m_1,t) $ を含むアンザッツを用いたマスター方程式の解が明示的に構成され、PDEが $ P(t) $ と $ R(t) $ の常微分方程式系に簡略化された。
• $ P(t) $ の常微分方程式は $ \frac{dP}{dt} - 2(\alpha + \lambda)P - P^2 + \mu - \lambda^2 = 0 $ であり、終端条件 $ P(T) = c $ を満たし、$ \mu - \lambda^2 > 0 $ のとき凸性が保証される。
• 状態分布のフォッカー・プランク方程式には、平均に対するエージェント間相互作用効果を捉えるためのドリフト項 $ (\alpha + \lambda + P(t))(y - x)m $ が含まれる。
• 価値関数は $ u(x,t) = \frac{1}{2}(x - y_0 - \beta b(t))^2 P(t) + R(t) $ で与えられ、$ R(t) = \frac{1}{2}(\sigma^2 + \beta^2(1 - m_1)^2) \int_t^T P(s) ds $ であり、[5]で知られている結果と一致する。
• 解は、マスター方程式が相互銀行取引におけるシステミックリスクのダイナミクスを、フィードバック効果とマクロ経済要因 $ b(t) $ からの共通ノイズを含めて正確に捉えていることを確認している。