[論文レビュー] From infinity to one: The reduction of some mean field games to a global control problem

Olivier Guéant|arXiv (Cornell University)|Oct 15, 2011

Complex Systems and Time Series Analysis参考文献 9被引用数 27

ひとこと要約

本稿では、計画問題から導かれる高次元のハミルトニアン・ジャコビ方程式の解を微分することで、グラフ上の平均場ゲーム方程式の解が得られることを示すことにより、グラフ上の平均場ゲームとグローバルな決定論的制御問題との間の接続を確立する。主な貢献は、共通ノイズを伴う系を記述するマスタ方程式が、このグローバル価値関数の偏微分として自然に現れることであり、複雑な分散型ゲームを単一の最適化問題に還元することを可能にする。

ABSTRACT

This paper presents recent results from Mean Field Game theory underlying the introduction of common noise that imposes to incorporate the distribution of the agents as a state variable. Starting from the usual mean field games equations introduced by J.M. Lasry and P.L. Lions and adapting them to games on graphs, we introduce a partial differential equation, often referred to as the Master equation, from which the MFG equations can be deduced. Then, this Master equation can be reinterpreted using a global control problem inducing the same behaviors as in the non-cooperative initial mean field game.

研究の動機と目的

• グラフ上の平均場ゲームダイナミクスを、単一のグローバル制御問題に還元すること。
• 共通ノイズを伴うゲームで用いられるマスタ方程式が、高次元ハミルトニアン・ジャコビ方程式の解の勾配として導出されることを示すこと。
• 滑らかなグローバル計画問題の解から、ナッシュ-MFG均衡を構成的に生成する方法を提供すること。
• 確率測度空間上の微積分に依存せずに、離散的・グラフベースの設定におけるマスタ方程式の新たな解釈を提供すること。
• 高次元ハミルトニアン・ジャコビ方程式の数値的解法が、無限次元MFG問題の近似としての道筋を提供すること。

提案手法

• 連続時間のマコフ遷移とプレイヤー固有のコスト関数を伴う有向グラフ上の平均場ゲームを形式化する。
• 一般化されたMFG方程式に共通ノイズ効果を組み込んだ離散形のマスタ方程式を導入する。
• 高次元ハミルトニアン・ジャコビ方程式を満たすグローバル計画問題を定義する。
• この価値関数の偏微分がマスタ方程式の構成要素をもたらし、グローバル最適化と局所的ゲームダイナミクスを結びつけることを示す。
• 価値関数の勾配から得られる最適制御がナッシュ-MFG均衡を誘導することを確立する。
• 価値関数がC²であることに着目し、微分法則を適用して、得られた系がマスタ方程式を満たすことを検証する。

実験結果

リサーチクエスチョン

• RQ1 グラフ上の平均場ゲームは、単一のグローバル制御問題に還元可能か？
• RQ2 離散的設定におけるマスタ方程式は、高次元ハミルトニアン・ジャコビ方程式からどのように導かれるか？
• RQ3 グラフベースのMFGにおける計画問題の解とナッシュ-MFG均衡の関係は何か？
• RQ4 グローバル価値関数の偏微分が、グラフ設定におけるマスタ方程式を回復できるか？
• RQ5 ハミルトニアン・ジャコビ方程式の解が有効な平均場ゲーム均衡を生成するための条件は何か？

主な発見

• グローバル計画問題のハミルトニアン・ジャコビ方程式の解を、状態分布に関して微分することで、ナッシュ-MFG均衡が生成される。
• 離散的グラフ設定におけるマスタ方程式は、グローバル制御問題の価値関数の偏微分と正式に同等である。
• 価値関数の勾配から得られる最適制御戦略は、ナッシュ-MFG均衡の必要条件を満たす。
• 価値関数の勾配から導かれる方程式系はマスタ方程式と一致し、完全なMFGフレームワークと整合性があることが確認された。
• 標準的な仮定の下で還元が成立する：上昇型コスト関数、C²かつ強い凸性を有するコスト、argmaxが明確に定義されたC¹ハミルトニアン。
• この枠組みにより、高次元ハミルトニアン・ジャコビ方程式の数値的解法が、無限次元MFG問題の近似としての道筋を提供する。