[論文レビュー] Computational methods for nonlocal mean field games with applications

Siting Liu, Matt Jacobs+3 more|arXiv (Cornell University)|Apr 25, 2020

Stochastic processes and financial applications参考文献 32被引用数 8

ひとこと要約

本稿では、特徴空間展開と鞍点定式化を用いたカーネルベースの計算フレームワークを導入し、非局所平均場ゲーム（MFG）を効率的に解く手法を提案する。これにより、PDHGなどの原双対法を用いた解法が可能となり、線形の計算コストと高い精度を実現。非局所相互作用の解法において、時間依存および定常MFG系の両方で妥当性が確認され、既知のベンチマークへの収束が示された。

ABSTRACT

We introduce a novel framework to model and solve mean-field game systems with nonlocal interactions. Our approach relies on kernel-based representations of mean-field interactions and feature-space expansions in the spirit of kernel methods in machine learning. We demonstrate the flexibility of our approach by modeling various interaction scenarios between agents. Additionally, our method yields a computationally efficient saddle-point reformulation of the original problem that is amenable to state-of-the-art convex optimization methods such as the primal-dual hybrid gradient method (PDHG). We also discuss potential applications of our methods to multi-agent trajectory planning problems.

研究の動機と目的

• 非局所相互作用を有する非局所平均場ゲーム（MFG）系に対して、計算的に効率的で柔軟な数値解法の開発を目的とする。
• 従来の方法が非局所MFGで超線形コストを発生させるのを回避するため、カーネルベースの特徴展開による相互作用の分離を目的とする。
• 原双対凸最適化法（例：PDHG）を非局所MFGに適用可能にするために、問題を鞍点形式に再定式化することを目的とする。
• 操作可能なカーネル基底関数を用いて、異種またはサブドメイン固有の相互作用など、多様な相互作用シナリオをモデル化することを目的とする。
• 時間依存問題の長時間収束を用いて定常MFG系を近似するため、ターンパイク性を活用することを目的とする。

提案手法

• 非局所相互作用をカーネル関数 $ K(x,y) $ および $ S(x,y) $ を用いて表現し、次元削減を図るために特徴基底に展開する。
• 原双対フレームワークを用いてMFG系を鞍点問題に再定式化し、PDHGによる効率的解法を可能にする。
• 特徴空間展開による分離を用いて、PDHGアルゴリズムにおける並列化可能で線形コストの近似ステップを実現する。
• カーネル展開係数に対する明示的近似ステップを用いることで、線形計算複雑性を維持する。
• 時間スケーリングと長時間近似を適用し、大きな $ T $ を用いた時間依存フレームワークに埋め込むことで、定常MFG系を解く。
• 周期的領域におけるスペクトル精度を達成するため、積分作用素を三角多項式（例：$ n=2 $ まで）を用いて近似する。

実験結果

リサーチクエスチョン

• RQ1 一般の相互作用カーネルを有する非局所平均場ゲームは、カーネルベースの特徴展開を用いて効率的に解けるか？
• RQ2 提案された鞍点定式化により、非局所MFGにおけるPDHGを用いた線形コスト計算が可能か？
• RQ3 長時間ダイナミクスを用いた場合、定常MFG系の解をどの程度正確に近似できるか？
• RQ4 カーネル基底関数の設計を用いて、異種またはサブドメイン固有のエージェント相互作用を柔軟にモデル化できるか？
• RQ5 時間依存近似が $ T \to \infty $ において定常MFG解にどのようないくつかの収束行動を示すか？

主な発見

• 特徴空間展開による分離により、近似ステップが独立化されるため、グリッドポイント数に比例する線形計算コストを達成した。
• 式 (6.4) の時間依存系（$ T=10 $）の解は、定常MFG解 $ \bar{\rho} $ に弱収束し、$ \|V[\rho_T(\cdot,t)] - V[\hat{\rho}]\|_{L^\infty} \leq C/T^{1/2} $ を満たす。
• 本手法は [5] の結果と同等の解を正確に再構成でき、一次形式によるため[5]の二次形式と比較してわずかに拡산が少ない。
• 価値関数 $ \phi_T(x,t) - \int \phi_T(y,t)dy $ は定常解 $ \bar{\phi} $ を適切に近似し、理論的期待と整合的であることが確認された。
• カーネル基底関数の操作を用いて、複雑な相互作用パターンを効果的にモデル化でき、異種相互作用レジームの実現が可能であった。
• $ d=2 $, $ \mu=200 $, および $ Q(x_1,x_2) = -\sin(2\pi x_2) - \sin(2\pi x_1) - \cos(4\pi x_1) $ の数値結果は、$ t=0.4 $ において安定かつ高精度な解を示した。