[論文レビュー] Mean Field Games and Nonlinear Markov Processes

Vassili N. Kolokoltsov, Jiajie Li+1 more|arXiv (Cornell University)|Dec 16, 2011

Stochastic processes and financial applications参考文献 67被引用数 72

ひとこと要約

本稿は、Lévy-Khintchine型生成子（安定型およびトメッド安定型プロセスを含む）によって駆動されるK種類のエージェントからなる非線形マルコフ過程に支配されるシステムに対して、平均場ゲームの枠組みを確立する。非線形運動方程式の解の存在を証明し、これらの解が1/N-ナッシュ均衡をもたらすことを示し、小スケール結合やフィードバックの滑らかさに関する仮定を排除した、1/Nの収束速度を明示的に得る。これにより、拡散過程に関する先行研究を拡張・改善する。

ABSTRACT

In this paper, we investigate the mean field games with $K$ classes of agents who are weakly coupled via the empirical measure. The underlying dynamics of the representative agents is assumed to be a controlled nonlinear Markov process associated with rather general integro-differential generators of Lévy-Khintchine type (with variable coefficients). We show that nonlinear measure-valued kinetic equations describing the dynamic law of large numbers limit for system with large number N of agents are solvable and that their solutions represent 1/N-Nash equilibria for approximating systems of N agents.

研究の動機と目的

• 拡散的ダイナミクスを超えて、Lévy-Khintchine生成子を有する一般の非線形マルコフ過程へ平均場ゲーム理論を拡張すること。
• 動的大数の法則の極限から生じる非線形測度値運動方程式の解の存在および一意性を確立すること。
• これらの解が、小スケール結合の仮定がなくても有限エージェント系における1/N-ナッシュ均衡をもたらすことを証明すること。
• 平均場近似の収束速度を1/Nのオーダーとして厳密に確立し、先行研究を改善すること。
• McKean-Vlasov拡散、ボルツマン型およびスモラチェフスキー型方程式を含む、既存の枠組みを統一的かつ一般化し、単一の非線形マルコフ過程形式に統合すること。

提案手法

• 測度値ダイナミクスを対象とする前向きコルモゴロフ型方程式と後向きハミルトン・ジャコビ・ベルマン方程式のカップリングとして平均場ゲームを定式化する。
• Lévy-Khintchine型生成子を有する非線形マルコフ過程の理論を用いてエージェントダイナミクスをモデル化し、安定型、トメッド安定型、および混合拡散型プロセスを含む。
• タグ付き粒子法を用いて、Nが非常に大きい極限における個々のエージェントの振る舞いを分析し、粒子レベルのダイナミクスと経験的測度の進化を結びつける。
• 無限次元半群理論と感度解析を用いて、解が経験的測度に依存する度合いの推定を導出する。
• 生成子における経験的測度依存性の1/Nスケーリングを活用し、有限N系と平均場ダイナミクスの差に対する推定を用いて、混沌の伝播と収束速度を確立する。
• 対称的配置と経験的測度の間の一対一対応を用いて、状態空間を $\mathcal{X}^N$ から $\mathcal{P}_\delta^N(\mathcal{X})$ に写像し、測度値解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 平均場ゲーム枠組みは、特に安定型プロセスのようなジャンプダイナミクスを有する非線形マルコフ過程へ、拡散的ダイナミクスを超えて拡張可能か？
• RQ2 動的大数の法則の極限から導かれる非線形運動方程式の解は、有限エージェント系における有効な1/N-ナッシュ均衡を表すか？
• RQ3 有限N系から平均場極限への収束速度は何か？また、制限的な仮定なしに $O(1/N)$ として厳密に確立可能か？
• RQ4 フィードバックの滑らかさ（感度推定）は、漂移および拡散係数が経験的測度に依存する場合に、仮定ではなく証明可能か？
• RQ5 McKean-Vlasov拡散、ボルツマン型およびレプリカ型ダイナミクスといった多様なモデルは、単一の非線形マルコフ過程形式に統合可能か？

主な発見

• 生成子および係数に関するやや弱い条件下で、非線形測度値運動方程式の解が存在し、一意であることが証明された。
• 解は有限エージェント系における $1/N$-ナッシュ均衡を表しており、いかなるエージェントも均衡戦略から単独で逸脱して利得を得ないことを意味する。
• 動的大数の法則および混沌の伝播に関する収束速度が1/Nのオーダーとして厳密に確立され、先行研究の仮定を改善した。
• フィードバックの滑らかさ条件（感度推定）が仮定ではなく証明されたため、[37]のような先行研究における主な制限要因が排除された。
• この枠組みは、安定型、トメッド安定型、および混合拡散型・ジャンプ型プロセスを含む広範なプロセスクラスに適用可能であり、生成子における係数の可変性を許容する。
• タグ付き粒子法と無限次元半群技法を組み合わせることで、代替戦略間の価値関数差に対する明示的な $1/N$-推定が導出可能となった。