[論文レビュー] Convergence of large population games to mean field games with interaction through the controls

Mathieu Laurière, Ludovic Tangpi|arXiv (Cornell University)|Apr 17, 2020

Stochastic processes and statistical mechanics被引用数 7

ひとこと要約

本稿は、制御を通じた相互作用を伴う大規模確率的微分ゲームにおけるナッシュ均衡の非漸近的収束速度を、前向き後向き確率的微分方程式（FBSDE）の混沌の伝播と集中不等式を用いて確立する。$N$-プレイヤー均衡制御が、制御ベースの相互作用下でも $O(N^{-1/2})$ のレートで平均場均衡に収束することを示す、モーメントおよび尾確率の境界を証明する。

ABSTRACT

This work considers stochastic differential games with a large number of players, whose costs and dynamics interact through the empirical distribution of both their states and their controls. We develop a new framework to prove convergence of finite-player games to the asymptotic mean field game. Our approach is based on the concept of propagation of chaos for forward and backward weakly interacting particles which we investigate by stochastic analysis methods, and which appear to be of independent interest. These propagation of chaos arguments allow to derive moment and concentration bounds for the convergence of Nash equilibria.

研究の動機と目的

• 制御を通じた相互作用を伴う $N$-プレイヤー確率的微分ゲームにおけるナッシュ均衡の収束を、平均場ゲームの極限に厳密に確立すること。
• 状態と制御の両方に依存する弱い相互作用を有する前向き後向きSDE（FBSDE）に対して、混沌の伝播に基づく新規なフレームワークを構築すること。
• 大-$N$極限における均衡制御の収束に関する非漸近的モーメントおよび集中不等式の境界を導出すること。
• 動的およびコスト関数が状態の経験的分布だけでなく、制御の経験的分布にも明示的に依存する設定に、既存の平均場ゲーム理論を拡張すること。
• 大規模プレイヤー集団における制御の経験的分布に対して、次元に依存しない集中不等式を提供すること。

提案手法

• 状態および制御に依存する相互作用を、$(X^i, α^i)$ の経験的測度を通じて形式化し、McKean-Vlasov型の動的およびコスト関数を用いる。
• ポントレヤーギンの最大原理を適用して、$N$-プレイヤーおよび平均場ゲーム均衡を、結合された前向き後向き確率的微分方程式（FBSDE）によって特徴付ける。
• Malliavin微積分およびモーメント推定を用いて、$N$-プレイヤー解と平均場解の差を分析することで、結合FBSDE系における混沌の伝播を確立する。
• Lipschitz連続性および凸性の仮定の下でFBSDEの安定性解析を用いて、$N$-プレイヤーおよび平均場制御過程間の $L^2$-距離に対する $N$ に依存しない一様な境界を導出する。
• Talagrandの $T_2$ 不等式および対数ソボレフ型の議論を用いて、制御の経験的分布に対する次元に依存しない集中不等式を導出する。
• モーメント推定と集中不等式を組み合わせることで、$N$-プレイヤー制御が平均場極限から逸脱する確率の非漸近的尾確率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 制御の経験的分布を通じた相互作用を伴う $N$-プレイヤー確率的微分ゲームにおけるナッシュ均衡制御が、平均場均衡にどの程度の速度で収束するか？
• RQ2 制御と状態の両方に依存する結合された状態-制御相互作用を有するFBSDE系に対して、混沌の伝播の議論を拡張することで非漸近的収束速度を得られるか？
• RQ3 一般の正則性および凸性条件の下で、$N$-プレイヤー均衡制御が平均場極限から逸脱する際のモーメントおよび尾確率の境界は何か？
• RQ4 測度集中の技術を用いることで、制御の相互作用を伴う大規模プレイヤー集団における制御の経験的分布に対して、次元に依存しない境界を得られるか？
• RQ5 共通ノイズや非マルコフ構造が存在する状況において、結果が開ループ制御から閉ループまたはフィードバック制御へどの程度拡張可能か？

主な発見

• 本稿は、正則性および凸性条件の下で、$N$-プレイヤーゲームの均衡制御が平均場均衡に $O(N^{-1/2})$ の非漸近的 $L^2$ 収束速度を有することを確立する。
• 定数 $C$ が問題パラメータに依存する場合、期待値の二乗偏差 $\mathbb{E}[|\hat{\alpha}^{i,N}_t - \hat{\alpha}^i_t|^2]$ が $C N^{-1}$ で有界であることを証明する。
• 次元に依存しない集中不等式を導出し、$\mathbb{P}(\mathcal{W}_2(L^N(\hat{\alpha}_t), \mathcal{L}(\hat{\alpha}_t)) \geq a) \leq C e^{-K N a^2}$ の形の尾確率境界を得る。
• 混沌の伝播の議論が、状態および制御の両方に弱い相互作用を有するFBSDE系へ拡張され、制御ベースの相互作用を有するゲームの解析を可能にする。
• 適切な単調性または時間区間の小規模性条件の下で、時間区間 $T$ が小さくても大きくても結果が成立する。
• 解析により、コスト関数および動的が制御の経験的分布に明示的に依存する場合でも、平均場極限が有限だが大きな $N$ に対して有効な近似であることが確認される。