[论文解读] Interpolating between BSDEs and PINNs: deep learning for elliptic and parabolic boundary value problems

Nikolas Nüsken, Lorenz Richter|arXiv (Cornell University)|Dec 7, 2021

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出扩散损失（diffusion loss），一种新颖的优化目标，通过在物理信息神经网络（PINNs）与深度倒向随机微分方程（BSDEs）之间插值，用于求解高维椭圆型与抛物型PDE。通过调节时间参数 𝔷，该方法统一了局部（类似PINN）与全局（类似BSDE）的近似策略，在复杂区域与特征值问题中表现出更优性能，包括非线性薛定谔方程与福克-普朗克方程。

ABSTRACT

Solving high-dimensional partial differential equations is a recurrent challenge in economics, science and engineering. In recent years, a great number of computational approaches have been developed, most of them relying on a combination of Monte Carlo sampling and deep learning based approximation. For elliptic and parabolic problems, existing methods can broadly be classified into those resting on reformulations in terms of $ extit{backward stochastic differential equations}$ (BSDEs) and those aiming to minimize a regression-type $L^2$-error ($ extit{physics-informed neural networks}$, PINNs). In this paper, we review the literature and suggest a methodology based on the novel $ extit{diffusion loss}$ that interpolates between BSDEs and PINNs. Our contribution opens the door towards a unified understanding of numerical approaches for high-dimensional PDEs, as well as for implementations that combine the strengths of BSDEs and PINNs. The diffusion loss furthermore bears close similarities to $ extit{(least squares) temporal difference}$ objectives found in reinforcement learning. We also discuss eigenvalue problems and perform extensive numerical studies, including calculations of the ground state for nonlinear Schrödinger operators and committor functions relevant in molecular dynamics.

研究动机与目标

• 为使用深度学习求解高维椭圆型与抛物型PDE时面临的维数灾难问题提供解决方案。
• 通过统一的优化框架，整合两种主流深度学习方法——PINNs与深度BSDEs。
• 提出一种新型损失函数（即扩散损失），可平滑插值于PINN与BSDE形式之间。
• 在具有挑战性的问题上验证该方法的有效性，包括非线性特征值问题与复杂边界几何结构。
• 探索与强化学习中时间差分学习的联系，并将该框架扩展至参数依赖型PDE。

提出的方法

• 提出扩散损失 ℒ_diffusion^𝔷，通过辅助时间参数 𝔷 实现PINN与深度BSDE目标之间的连续插值。
• 从伊藤公式推导扩散损失，通过SDE dX_s = b(X_s,s)dt + σ(X_s,s)dW_s 的生成元 L 将PDE解与随机过程联系起来。
• 当 𝔷 → 0 时，损失退化为在采样点上对PDE残差的局部PINN式拟合误差。
• 当 𝔷 → ∞ 时，损失收敛至倒向SDE的终端条件拟合误差，体现深度BSDE的特征。
• 采用蒙特卡洛采样与神经网络，在时空域及边界上最小化扩散损失。
• 通过在损失函数中引入归一化约束，将该框架扩展至特征值问题。

实验结果

研究问题

• RQ1 单一优化目标能否统一PINNs与深度BSDEs在求解高维PDE时的优势？
• RQ2 扩散损失如何在局部（PINN）与全局（BSDE）近似策略之间实现插值？
• RQ3 辅助时间参数 𝔷 对复杂区域中收敛性与精度的影响如何？
• RQ4 扩散损失能否有效求解如非线性薛定谔方程等非线性特征值问题？
• RQ5 在误差与稳定性方面，扩散损失相较于PINN与深度BSDE基线表现如何？

主要发现

• 扩散损失成功在PINNs（𝔷 → 0）与深度BSDEs（𝔷 → ∞）之间实现插值，实现了高维PDE的统一框架。
• 在 d=5 的福克-普朗克特征值问题中，该方法以低 L^2 误差近似主特征函数与特征值，且绝对特征值误差接近零。
• 在 d=5 的非线性薛定谔方程中，该方法在训练10,000步后实现了低于1%的相对特征值误差。
• 在 d=10 的高维情形下，尽管维度增加，该方法仍保持合理精度，展现出对高维挑战的鲁棒性。
• 在具有复杂边界与高阶导数的区域中，扩散损失在关键指标上优于PINN与深度BSDE基线。
• 该方法与时间差分学习的联系表明，通过方差缩减与自适应加权策略，未来有望实现进一步的算法改进。