[論文レビュー] Learning High-Dimensional McKean-Vlasov Forward-Backward Stochastic Differential Equations with General Distribution Dependence

Jiequn Han, Ruimeng Hu+1 more|arXiv (Cornell University)|Apr 25, 2022

Stochastic processes and financial applications被引用数 5

ひとこと要約

本稿では、分布の完全な依存性を有する高次元の McKean-Vlasov 前向き後向き確率微分方程式（MV-FBSDEs）を解くための深層学習手法を提案する。同手法は、擬似対戦（fictitious play）を用いて、ニューラルネットワークによる係数関数の反復的更新を行う。この方法は、積分確率距離を用いた解析により、次元の呪いが存在しない収束性が保証され、分布の完全な依存性を有する高次元の Cucker-Smale 平均場ゲームを効果的に解くことに成功した。

ABSTRACT

One of the core problems in mean-field control and mean-field games is to solve the corresponding McKean-Vlasov forward-backward stochastic differential equations (MV-FBSDEs). Most existing methods are tailored to special cases in which the mean-field interaction only depends on expectation or other moments and thus inadequate to solve problems when the mean-field interaction has full distribution dependence. In this paper, we propose a novel deep learning method for computing MV-FBSDEs with a general form of mean-field interactions. Specifically, built on fictitious play, we recast the problem into repeatedly solving standard FBSDEs with explicit coefficient functions. These coefficient functions are used to approximate the MV-FBSDEs' model coefficients with full distribution dependence, and are updated by solving another supervising learning problem using training data simulated from the last iteration's FBSDE solutions. We use deep neural networks to solve standard BSDEs and approximate coefficient functions in order to solve high-dimensional MV-FBSDEs. Under proper assumptions on the learned functions, we prove that the convergence of the proposed method is free of the curse of dimensionality (CoD) by using a class of integral probability metrics previously developed in [Han, Hu and Long, arXiv:2104.12036]. The proved theorem shows the advantage of the method in high dimensions. We present the numerical performance in high-dimensional MV-FBSDE problems, including a mean-field game example of the well-known Cucker-Smale model whose cost depends on the full distribution of the forward process.

研究の動機と目的

• 既存手法がモーメントや期待値に依存する平均場相互作用にしか対応できないという限界を解消すること。
• 平均場制御およびゲームに生じる高次元の MV-FBSDEs を解くためのスケーラブルな深層学習フレームワークの構築。
• 一般な分布的依存性の下で、提案手法の収束性が次元の呪いを伴わないことを証明すること。
• 分布の完全な依存性を有する高次元の Cucker-Smale 平均場ゲームに対して、数値的妥当性を検証すること。

提案手法

• 本手法は、MV-FBSDE の係数関数を、前向き過程の分布関数の関数として学習可能な関数で近似することで、標準的 FBSDE を反復的に解くための擬似対戦（fictitious play）を用いる。
• 深層ニューラルネットワークを用いて、標準的後向き SDE を解き、前向き過程の分布に依存する係数関数を近似する。
• 各反復ステップにおいて、前回の解のシミュレートパスから得られる訓練データを用いて、係数関数の更新のための教師あり学習モデルを訓練する。
• 分布差の測定に積分確率距離（IPMs）、特に最大平均差（maximum mean discrepancy）を用いることで、収束を保証する。
• 反復的プロセスは、深層 BSDE ソルバーを用いた FBSDE の解法と、教師あり学習による分布依存係数関数の更新を交互に繰り返す。
• 適切な仮定の下で、IPMs を用いた解析により収束性が証明され、本手法の高次元におけるスケーラビリティが確立される。

(a) $d=5$

実験結果

リサーチクエスチョン

• RQ1 一般な分布的依存性（モーメント依存性を超える）を有する高次元の MV-FBSDEs を解くための深層学習手法を設計可能か？
• RQ2 複雑な分布的依存性を有する MV-FBSDEs を解く際、提案手法が次元の呪いを伴わずに収束するか？
• RQ3 分布の完全な依存性を有する高次元の平均場ゲーム（例：Cucker-Smale モデル）において、本手法の数値的性能はいかがなものか？
• RQ4 擬似対戦フレームワークを深層 BSDE ソルバーと効果的に組み合わせ、MV-FBSDEs の分布依存係数を扱えるか？
• RQ5 分布的コスト構造が、平均場ゲームにおける最適制御および状態ダイナミクスに与える影響は何か？

主な発見

• β=0 の数値解では、Y₀² の L² 誤差が 0.017 に達し、解析解と強い一致を示した。
• 最終位置 x_T および速度 v_T の密度プロットは、モデルの期待される挙動と整合する対称性を確認した。
• v_t の最初の成分の標準偏差は β が増加するにつれて増加し、β が大きいほど位置と速度の一致に向けた努力が減少していることを示した。
• 制御 u_t の密度は β が大きいほどゼロを中心に集中する傾向を示し、コスト関数における不一致に対する罰則が軽減されていることと整合的であった。
• 本手法は、標準のラップトップで 474 秒の計算時間で、分布の完全な依存性を有する 3D Cucker-Smale 平均場ゲームを効果的に解いた。
• 理論的解析により、収束性が積分確率距離を収束指標として用いることで、次元の呪いが存在しないことが確認された。

(b) $d=10$