[論文レビュー] The Master Equation for Large Population Equilibriums

René Carmona, François Delarue|HAL (Le Centre pour la Communication Scientifique Directe)|Apr 18, 2014

Stochastic processes and financial applications参考文献 6被引用数 14

ひとこと要約

この論文は、共通ノイズを伴う平均場ゲームにおける大規模集団均衡のマスターエンジン方程式を、前向きと後向きの確率的偏微分方程式（SPDE）の結合系として定式化することにより確立する。この結合系は無限次元の前向き・後向き確率微分方程式（FBSDE）として解釈される。主な貢献は、価値関数を前向きコルモゴロフ過程の決定的関数として表現するデカップリング場が満たすPDEとしてマスターエンジン方程式を導出することであり、これにより確率的枠組みにおいて確率的HJB方程式とコルモゴロフ方程式が統合される。

ABSTRACT

We use a simple N-player stochastic game with idiosyncratic and common noises to introduce the concept of Master Equation originally proposed by Lions in his lectures at the Collège de France. Controlling the limit N tends to the infinity of the explicit solution of the N-player game, we highlight the stochastic nature of the limit distributions of the states of the players due to the fact that the random environment does not average out in the limit, and we recast the Mean Field Game (MFG) paradigm in a set of coupled Stochastic Partial Differential Equations (SPDEs). The first one is a forward stochastic Kolmogorov equation giving the evolution of the conditional distributions of the states of the players given the common noise. The second is a form of stochastic Hamilton Jacobi Bellman (HJB) equation providing the solution of the optimization problem when the flow of conditional distributions is given. Being highly coupled, the system reads as an infinite dimensional Forward Backward Stochastic Differential Equation (FBSDE). Uniqueness of a solution and its Markov property lead to the representation of the solution of the backward equation (i.e. the value function of the stochastic HJB equation) as a deterministic function of the solution of the forward Kolmogorov equation, function which is usually called the decoupling field of the FBSDE. The (infinite dimensional) PDE satisfied by this decoupling field is identified with the extit{master equation}. We also show that this equation can be derived for other large populations equilibriums like those given by the optimal control of McKean-Vlasov stochastic differential equations. The paper is written more in the style of a review than a technical paper, and we spend more time and energy motivating and explaining the probabilistic interpretation of the Master Equation, than identifying the most general set of assumptions under which our claims are true.

研究の動機と目的

• 個々のプレイヤーの固有的および共通の確率的ショックが存在するため、大規模集団極限で確率的要素が完全に平均化されない状況における、共通ノイズを伴う平均場ゲームにおけるマスターエンジン方程式の形式化。
• 平均場ゲームの枠組みを、条件付き分布のための前向きコルモゴロフ方程式と価値関数のための後向き確率的HJB方程式からなる結合系のSPDEとして再定式化すること。
• この結合SPDE系が無限次元FBSDEとして解釈可能であることを示し、デカップリング場技術の適用を可能にすること。
• デカップリング場が満たすPDEとしてマスターエンジン方程式を導出すること。ここで、価値関数は前向き過程の決定的関数として表現される。
• この枠組みが、マクケイン＝フラスォフSDEの最適制御問題を含む、平均場ゲームを超えた大規模集団均衡問題への応用可能性を示すこと。

提案手法

• 個々のプレイヤーが存在する確率的ゲームを定式化し、個々のノイズと共通ノイズを含む。その後、N → ∞ の極限を取ることで平均場均衡を導出する。
• 前向き成分を、共通ノイズを条件とするプレイヤー状態の条件付き分布の時間発展を記述する確率的コルモゴロフ方程式として特定する。
• 後向き成分を、与えられた条件付き分布の流れの下での最適制御価値関数を支配する確率的ハミルトン・ジャコビ・ベルマン（HJB）方程式として特定する。
• 結合SPDE系を、後向き成分が前向き成分の関数（デカップリング場）として表現される無限次元FBSDEとして扱う。
• 無限次元版の伊藤の公式を適用し、デカップリング場が満たすPDEとしてマスターエンジン方程式を導出する。
• 特徴線の確率的解釈を、ℝᵈ × ℒ(ℝᵈ) 上のパスとして扱い、条件付き分布が共通ノイズの下でどのように進化するかを記述する。

実験結果

リサーチクエスチョン

• RQ1 共通ノイズが存在する場合、大規模集団極限において確率的環境が完全に平均化されない中で、マスターエンジン方程式を厳密に導出する方法は何か？
• RQ2 持続的な共通ノイズのため、極限分布が決定的でない場合、マスターエンジン方程式の確率的解釈は何か？
• RQ3 無限次元FBSDE枠組みにおけるデカップリング場はマスターエンジン方程式とどのように関係し、どのようなPDEを満たすか？
• RQ4 マスターエンジン方程式は、平均場ゲームを超えて、マクケイン＝フラスォフSDEの最適制御問題のような他の大規模集団均衡問題へも拡張可能か？
• RQ5 結合SPDE系からマスターエンジン方程式を導出するにあたり、無限次元伊藤の公式は果たす役割は何か？

主な発見

• マスターエンジン方程式は、無限次元FBSDEのデカップリング場が満たすPDEとして生じる。このデカップリング場は、前向きコルモゴロフ方程式の解を、後向きHJB方程式の価値関数へ写像する。
• 前向き成分は、共通ノイズを条件とするプレイヤー状態の条件付き分布の時間発展を記述する確率的コルモゴロフ方程式である。
• 後向き成分は、与えられた条件付き分布の流れの下での最適制御問題を記述する確率的HJB方程式である。
• 価値関数を前向き過程の決定的関数として表現するデカップリング場は、マスターエンジン方程式を満たし、これにより均衡のすべての情報を1つのPDEに統合する。
• 導出は、確率測度の空間に適応された無限次元伊藤の公式に依存しており、時間メッシュの細分化に伴う確率的収束の議論によって妥当性が裏付けられる。
• この枠組みは平均場ゲームに限らず、マクケイン＝フラスォフSDEの最適制御問題に対しても適用可能であり、マスターエンジン方程式形式の広範な適用可能性を示している。