[论文解读] Learning High-Dimensional McKean-Vlasov Forward-Backward Stochastic Differential Equations with General Distribution Dependence

Jiequn Han, Ruimeng Hu+1 more|arXiv (Cornell University)|Apr 25, 2022

Stochastic processes and financial applications被引用 5

一句话总结

该论文提出了一种深度学习方法，用于求解具有完整分布依赖性的高维 McKean-Vlasov 前向-后向随机微分方程（MV-FBSDEs），通过虚构博弈（fictitious play）迭代更新系数函数，利用神经网络实现。该方法在使用积分概率度量（IPMs）证明下，实现了无维度灾难的收敛性，并成功求解了具有完整分布成本依赖性的高维 Cucker-Smale 平均场博弈。

ABSTRACT

One of the core problems in mean-field control and mean-field games is to solve the corresponding McKean-Vlasov forward-backward stochastic differential equations (MV-FBSDEs). Most existing methods are tailored to special cases in which the mean-field interaction only depends on expectation or other moments and thus inadequate to solve problems when the mean-field interaction has full distribution dependence. In this paper, we propose a novel deep learning method for computing MV-FBSDEs with a general form of mean-field interactions. Specifically, built on fictitious play, we recast the problem into repeatedly solving standard FBSDEs with explicit coefficient functions. These coefficient functions are used to approximate the MV-FBSDEs' model coefficients with full distribution dependence, and are updated by solving another supervising learning problem using training data simulated from the last iteration's FBSDE solutions. We use deep neural networks to solve standard BSDEs and approximate coefficient functions in order to solve high-dimensional MV-FBSDEs. Under proper assumptions on the learned functions, we prove that the convergence of the proposed method is free of the curse of dimensionality (CoD) by using a class of integral probability metrics previously developed in [Han, Hu and Long, arXiv:2104.12036]. The proved theorem shows the advantage of the method in high dimensions. We present the numerical performance in high-dimensional MV-FBSDE problems, including a mean-field game example of the well-known Cucker-Smale model whose cost depends on the full distribution of the forward process.

研究动机与目标

• 解决现有方法仅处理依赖于矩或期望的平均场相互作用，而无法处理完整分布依赖性的局限性。
• 开发一种可扩展的深度学习框架，用于求解平均场控制与博弈中出现的高维 MV-FBSDEs。
• 在一般分布依赖条件下，证明所提方法的收敛性不受维度灾难影响。
• 在具有完整分布成本依赖性的高维 Cucker-Smale 平均场博弈上，对方法进行数值验证。

提出的方法

• 该方法利用虚构博弈，通过用分布的已学习函数近似 MV-FBSDE 的系数，迭代求解标准 FBSDEs。
• 使用深度神经网络求解标准后向 SDEs，并近似依赖于前向过程完整分布的系数函数。
• 在每次迭代中，利用前一解决方案模拟路径生成的训练数据，训练监督学习模型以更新系数函数。
• 该算法利用积分概率度量（IPMs），特别是最大均值差异（maximum mean discrepancy），来度量分布差异并确保收敛性。
• 迭代过程在使用深度 BSDE 求解器求解 FBSDEs 和通过监督学习更新依赖于分布的系数函数之间交替进行。
• 在适当假设下，利用 IPMs 证明了收敛性，确立了该方法在高维情况下的可扩展性。

(a) $d=5$

实验结果

研究问题

• RQ1 能否设计一种深度学习方法，用于求解具有通用完整分布依赖性的高维 MV-FBSDEs，超越基于矩的相互作用？
• RQ2 当求解具有复杂分布依赖关系的 MV-FBSDEs 时，所提方法是否实现无维度灾难的收敛性？
• RQ3 该方法在具有完整分布成本的高维平均场博弈（如 Cucker-Smale 模型）上的数值表现如何？
• RQ4 虚构博弈框架能否与深度 BSDE 求解器有效结合，以处理 MV-FBSDEs 中的分布依赖系数？
• RQ5 分布成本结构对平均场博弈中最优控制与状态动态的影响是什么？

主要发现

• 当 β=0 时，Y₀² 的 L² 误差达到 0.017，与解析解高度一致。
• 最终位置 x_T 和速度 v_T 的密度图证实了对称性，并与模型预期行为一致。
• 随着 β 增大，v_t 第一维的标淮差增加，反映出在对齐位置与速度方面付出的努力减少。
• 随着 β 增大，控制 u_t 的密度更加集中在零附近，与成本函数中对错位惩罚减小的预期一致。
• 该方法在标准笔记本电脑上仅用 474 秒，成功求解了具有完整分布依赖性的 3D Cucker-Smale 平均场博弈。
• 理论分析证实，该方法的收敛性使用积分概率度量作为收敛度量时，不受维度灾难影响。

(b) $d=10$