[論文レビュー] Signatured Deep Fictitious Play for Mean Field Games with Common Noise

Ming Min, Ruimeng Hu|arXiv (Cornell University)|Jun 6, 2021

Sports Analytics and Performance参考文献 50被引用数 4

ひとこと要約

本稿では、rough path理論とfictitious playを活用して、共通ノイズを伴う平均場ゲーム（MFGs）を解くための単一ループ型ディープラーニングアルゴリズムであるSignatured Deep Fictitious Play（Sig-DFP）を提案する。この手法により、計算コストが非常に高い二重ループ型シミュレーションの必要がなくなり、高い効率性と正確性を達成した。これにより、共通ノイズを伴う拡張型MFGsに対する初めてのディープラーニング解法が実現され、従来手法と比較してメモリ使用量と実行時間の両方を顕著に削減した。

ABSTRACT

Existing deep learning methods for solving mean-field games (MFGs) with common noise fix the sampling common noise paths and then solve the corresponding MFGs. This leads to a nested-loop structure with millions of simulations of common noise paths in order to produce accurate solutions, which results in prohibitive computational cost and limits the applications to a large extent. In this paper, based on the rough path theory, we propose a novel single-loop algorithm, named signatured deep fictitious play, by which we can work with the unfixed common noise setup to avoid the nested-loop structure and reduce the computational complexity significantly. The proposed algorithm can accurately capture the effect of common uncertainty changes on mean-field equilibria without further training of neural networks, as previously needed in the existing machine learning algorithms. The efficiency is supported by three applications, including linear-quadratic MFGs, mean-field portfolio game, and mean-field game of optimal consumption and investment. Overall, we provide a new point of view from the rough path theory to solve MFGs with common noise with significantly improved efficiency and an extensive range of applications. In addition, we report the first deep learning work to deal with extended MFGs (a mean-field interaction via both the states and controls) with common noise.

研究の動機と目的

• 共通ノイズを伴う平均場ゲーム（MFGs）の既存のディープラーニング手法が、数百万本の共通ノイズ経路の二重ループ型シミュレーションに依存していることによる高い計算コストを解消すること。
• rough path理論からのシグネチャ表現を用いて、共通ノイズのパスを固定しない形で、二重ループ構造を排除すること。
• 再訓練なしに、共通不確実性の変化が平均場均衡に与える影響を捉えることが可能なスケーラブルで効率的なアルゴリズムの開発。
• 状態と制御の両方に依存する平均場相互作用を有する拡張型MFGs—共通ノイズ下で、かつて未解決であった設定—へのディープラーニングの応用を拡張すること。
• 線形二次MFG、ポートフォリオゲーム、最適消費投資問題を含む多様な応用分野において、本手法の有効性を実証すること。

提案手法

• アルゴリズムは、ディープファクトゥアス・プレイとrough path理論からのシグネチャを統合し、解に対する共通ノイズの経路依存性を表現することで、単一ループ型の学習プロセスを可能にする。
• 最適制御方策をディープニューラルネットワークでパラメータライズし、集団レベルの反応に基づいて繰り返し戦略を改善することで、fictitious playによるグローバル最適化を実現する。
• 共通ノイズ経路のシグネチャを入力特徴量として用い、計算の可能性を保つために深さMで切断する。
• 通常は扱いにくいとされるマスタ方程式、確率的Fokker-Planck/Hamilton-Jacobi-Bellman系、McKean-Vlasov FBSDEsなどの複雑な方程式を解く必要がなくなる。
• ニューラルネットワークの普遍近似性を仮定すると、シグネチャの深さMとfictitious play段階nが無限大に近づく際の収束性が保証される。
• 本手法は、共通ノイズ下での非一様なエージェントと、状態と制御の両方に依存する相互作用を持つ拡張型MFGsをサポートし、ディープラーニングにおけるMFGs分野における画期的な貢献である。

実験結果

リサーチクエスチョン

• RQ1 共通ノイズを伴うMFGsを、従来の二重ループ型手法よりも効率的に解くための単一ループ型ディープラーニングアルゴリズムを設計できるか？
• RQ2 rough pathのシグネチャが、ノイズパスを固定しないまま、共通ノイズが平均場均衡に与える影響を効果的に符号化できるか？
• RQ3 fictitious playとシグネチャ表現の統合が、再訓練なしに共通ノイズ下での均衡戦略を正確に捉えることを可能にするか？
• RQ4 本手法が、状態と制御の両方に依存する相互作用を持つ共通ノイズ下の拡張型MFGsを処理できるか？これは、ディープラーニング分野でかつて未解決であった設定である。
• RQ5 実際の応用において、シグネチャ深さMとfictitious play段階数nの間で、計算コストと収束性のトレードオフはどのようなものか？

主な発見

• Sig-DFPは、二重ループ型アルゴリズムと比較して、メモリ使用量と実行時間を顕著に削減した。これにより、(2^15, 2^15)個の個別的および共通ノイズ経路での学習が可能になった。一方、二重ループ型手法は(2^8, 2^8)を超えるとメモリ制約により失敗した。
• (INP, CNP) = (2^15, 2^15)の条件下で、Sig-DFPは制御とコストの両方で相対L²誤差が11%および6%に留まり、二重ループ型手法の79.4%および16.2%と比べて顕著な改善を示した。
• Sig-DFPの実行時間は、シグネチャ深さMと次元n₀が増加しても緩やかに増加し、(n₀=5, M=4)の条件では2.6時間で実行された。これは、より高い次元へのスケーラビリティを示している。
• 1次元問題では、M=2のシグネチャ深さが最適な精度を達成する。これは、制御および状態プロセスの対数が概ね線形または2次関数的であるため、より高い深さは冗長であることを示している。
• Mとnが無限大に近づく際、ニューラルネットワークの普遍近似性を仮定すると、Sig-DFPは平均場均衡に収束することが保証され、3つのベンチマーク問題において強い実証的裏付けが得られた。
• 本研究は、状態と制御の両方に依存する平均場相互作用を持つ共通ノイズを伴う拡張型MFGsに対する、初めてのディープラーニング解法を報告した。これにより、MFGsにおけるディープラーニングの応用範囲が拡張された。