[論文レビュー] A Machine Learning Framework for Solving High-Dimensional Mean Field Game and Mean Field Control Problems

Lars Ruthotto, Stanley Osher+3 more|arXiv (Cornell University)|Dec 4, 2019

Stochastic processes and financial applications参考文献 95被引用数 200

ひとこと要約

本論文は、ポテンシャル関数のニューラルネットワークパラメータ化とラグランジュ力学を組み合わせることで、高次元の平均場ゲーム（MFG）および平均場制御（MFC）問題を解くメッシュフリーな機械学習フレームワークを提案する。特化したニューラルネットワークを用いて特性曲線に沿ってハミルトニアン・ジャコビ・ベルマン（HJB）方程式を強制することで、空間離散化を回避し、100次元までにわたる高精度な解を得ることに成功し、従来のグリッドベース手法に比べてスケーラビリティと精度を示した。

ABSTRACT

Mean field games (MFG) and mean field control (MFC) are critical classes of multi-agent models for efficient analysis of massive populations of interacting agents. Their areas of application span topics in economics, finance, game theory, industrial engineering, crowd motion, and more. In this paper, we provide a flexible machine learning framework for the numerical solution of potential MFG and MFC models. State-of-the-art numerical methods for solving such problems utilize spatial discretization that leads to a curse-of-dimensionality. We approximately solve high-dimensional problems by combining Lagrangian and Eulerian viewpoints and leveraging recent advances from machine learning. More precisely, we work with a Lagrangian formulation of the problem and enforce the underlying Hamilton-Jacobi-Bellman (HJB) equation that is derived from the Eulerian formulation. Finally, a tailored neural network parameterization of the MFG/MFC solution helps us avoid any spatial discretization. Our numerical results include the approximate solution of 100-dimensional instances of optimal transport and crowd motion problems on a standard work station and a validation using an Eulerian solver in two dimensions. These results open the door to much-anticipated applications of MFG and MFC models that were beyond reach with existing numerical methods.

研究の動機と目的

• 従来のグリッドベース数値法の適用を制限する、平均場ゲームおよび制御問題における次元の呪いに対処する。
• 高次元のポテンシャル関数を伴うMFGおよびMFC問題を解くスケーラブルでメッシュフリーな数値フレームワークを開発する。
• 最適輸送や群衆移動などの複雑な現実世界の応用を、高次元空間で解けるようにする。
• MFG/MFC問題を微分可能最適化タスクに変換できる柔軟な機械学習定式化を提供する。

提案手法

• ポテンシャル関数から導かれる特性曲線を用いて、エージェントの軌道を追跡することで、MFG/MFC問題をラグランジュフレームワークで定式化する。
• 空間的・時間的ポテンシャル関数をニューラルネットワークでパラメータ化し、空間グリッドを用いずに高次元表現を可能にする。
• ニューラルネットワークの学習中にHJB方程式の違反をペナルティ化することで、特性曲線に沿ってHJB方程式を強制する。
• ポテンシャル関数のラプラシアンを用いて変換のヤコビアン行列式を計算し、Eulerian離散化を用いずに密度の時間発展を可能にする。
• 初期密度のプッシュフォワードを特性曲線に沿って追跡することで、連続の方程式を暗黙的に統合する。
• HJB違反、終端条件の不一致、正則化を含む損失関数を用いてニューラルネットワークを学習させ、安定性と精度を確保する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのフレームワークは、空間グリッドに依存せずに高次元の平均場ゲームおよび制御問題を解くことができるか？
• RQ2 低次元における、提案されたラグランジュ-MLフレームワークは、従来のEulerianソルバーと比較して、精度とスケーラビリティにおいてどのように異なるか？
• RQ3 この手法は、高次元MFG問題における非線形特性および複雑なダイナミクスをどの程度処理できるか？
• RQ4 HJB違反のペナルティ化は、学習プロセスにおける収束性と解の精度をどのように向上させるか？
• RQ5 このフレームワークは、100次元空間における最適輸送や群衆移動といった現実世界の問題に応用可能か？

主な発見

• 標準のワークステーション上でも、100次元の動的最適輸送問題のインスタンスを成功裏に解き、グリッドベース手法をはるかに超えるスケーラビリティを示した。
• 2次元問題において、妥当性が保証されたEulerianソルバーで得られた結果と密接に一致し、提案手法の精度を検証した。
• 群衆移動問題において、次元d ∈ {2, 10, 50, 100} において、目的関数値が次元に依存せず同等の性能を示した。これは、高次元でも一貫した性能を発揮していることを示している。
• 学習中にHJB違反をペナルティ化することで、計算負荷を低減しつつもより高精度な解が得られ、損失関数の有効性を示した。
• 群衆移動問題における学習済み軌道は、高コスト領域を避ける曲線的なパスを示しており、モデルが複雑で混雑度に配慮したダイナミクスを正しく捉えていることを確認した。
• 比較的単純なニューラルネットワークを用いても、非線形特性を伴うMFG問題を解くことが可能であり、手法のロバストネスと実用的応用可能性を示唆している。