[論文レビュー] Deep Learning for Mean Field Games and Mean Field Control with Applications to Finance

René Carmona, Mathieu Laurière|arXiv (Cornell University)|Jul 9, 2021

Complex Systems and Time Series Analysis被引用数 8

ひとこと要約

本稿では、高次元金融応用における平均場制御（MFC）および平均場ゲーム（MFG）問題を解くために、深層学習に基づく3つの手法—直接最適化、Deep BSDE、およびDeepガラーキン法（DGM）—を提案する。最適実行、システミックリスク、取引の集中といったモデルに対して有効性を示し、非局所的相互作用を伴う複雑なPDEおよびFBSDEの解を、ニューラルネットワークが正確に近似できることを示している。

ABSTRACT

Financial markets and more generally macro-economic models involve a large number of individuals interacting through variables such as prices resulting from the aggregate behavior of all the agents. Mean field games have been introduced to study Nash equilibria for such problems in the limit when the number of players is infinite. The theory has been extensively developed in the past decade, using both analytical and probabilistic tools, and a wide range of applications have been discovered, from economics to crowd motion. More recently the interaction with machine learning has attracted a growing interest. This aspect is particularly relevant to solve very large games with complex structures, in high dimension or with common sources of randomness. In this chapter, we review the literature on the interplay between mean field games and deep learning, with a focus on three families of methods. A special emphasis is given to financial applications.

研究の動機と目的

• 金融工学およびマクロ経済学に由来する平均場制御およびゲーム問題における次元の呪いに対処すること。
• 非局所的相互作用および共通ノイズを伴う高次元MFCおよびMFGシステムを解くためのスケーラブルな数値的手法を、深層学習に基づいて開発すること。
• 最適実行およびシステミックリスクといった、スタイリッシュではあるが現実的である金融モデルに対して、深層学習技術の実用的妥当性を実証すること。
• ニューラルネットワークを用いて価値関数、制御、および分布を近似することで、理論的平均場フレームワークと実用的計算ツールを橋渡しすること。
• 直接コスト最小化、確率的シューティング、PDEの残差最小化という3つの異なる深層学習パラダイムを通じて、MFG/MFCシステムを統合的に解くための汎用的数値フレームワークを提供すること。

提案手法

• 制御方策をニューラルネットワークとしてパラメータライズし、確率的勾配降下法で訓練することで、コスト関数を直接最適化する深層学習アプローチを用いる。
• McKean-Vlasov前向き後向き確率的微分方程式（MKV FBSDE）を解くためにDeep BSDE法を採用し、初期後向き変数およびZ成分をニューラルネットワークで近似する。
• MFGで生じる前向きコルモゴロフ方程式とハミルトニアン・ジャコビ・ベルマンPDEの連立系を解くために、Deepガラーキン法（DGM）を適用し、空間時間グリッド上で残差誤差を最小化する。
• 初期および終端条件を罰則項を用いて強制し、非局所項（例：平均場相互作用 $\bar{\mu}_t$）の推定にモンテカルロサンプリングを用いる。
• 分布関数 $m(t, \cdot)$ の非負性を保証するため、密度ネットワークの最終層に指数関数的活性化関数を適用する。
• 時間依存PDE系および非マルコフ構造（在庫ダイナミクスにおける2次変動項を含む）に対応できるように、手法を適応させる。

実験結果

リサーチクエスチョン

• RQ1 古典的数値手法では解けない高次元の金融分野における平均場制御およびゲーム問題を、深層学習が効果的に解けるか？
• RQ2 直接的ポリシー最適化、Deep BSDE、DGMという異なる深層学習アーキテクチャは、非局所的相互作用を伴うMFCおよびMFGシステムを解く際に、どのように比較されるか？
• RQ3 ニューラルネットワークは、最適実行およびシステミックリスクのMFGモデルにおける価値関数、最適制御、および分布ダイナミクスをどの程度正確に近似できるか？
• RQ4 共通ノイズ、遅延、デフォルト時相互作用を含む複雑な金融モデルに対し、深層学習手法は数値的安定性と正確性を維持しながら処理できるか？
• RQ5 価格影響モデルや取引の集中モデルといったスタイリッシュではあるが現実的である金融モデルにおいて、これらの手法の実証的性能特性はいかなるものか？

主な発見

• DGM法は取引の集中モデルにおけるMFGシステムを成功裏に解き、時間の経過とともに在庫分布 $m(t, \cdot)$ がゼロ付近に集中する様子を正確に捉えた。
• 最適制御 $\alpha^*$ のニューラルネットワーク近似は、半解析的解とよく一致しており、学習された制御が在庫に対して線形に依存していることが期待通りに示された。
• 密度ネットワークの最終層に指数関数的活性化関数を適用することで、学習された分布が非負性を保つことが保証され、確率密度推定において重要な制約を満たした。
• 罰則付き初期および終端条件を用いることで安定した収束が達成され、モンテカルロサンプリングが非局所的平均場相互作用 $\bar{\mu}_t$ の推定に効果的に機能した。
• 数値結果は理論的予想を確認した：分布はゼロ付近に集中し、最適制御は在庫に対して線形に依存する。これにより、モデルの整合性が裏付けられた。
• 在庫ダイナミクスに2次変動項を含む価格影響モデルに対しても、フレームワークは頑健に機能し、ニューラルネットワークが構造的変更をほとんど必要とせずに複雑なダイナミクスを扱えることを示した。