[论文解读] Learning in Modal Space: Solving Time-Dependent Stochastic PDEs Using Physics-Informed Neural Networks

Dongkun Zhang, Ling Guo+1 more|arXiv (Cornell University)|May 3, 2019

Model Reduction and Neural Networks参考文献 27被引用 16

一句话总结

该论文提出将物理信息神经网络（PINNs）与动态正交（DO）及双正交（BO）方法相结合——称为NN-DO/BO——以求解时变随机偏微分方程（PDEs）。通过将DO/BO约束隐式嵌入损失函数，该方法克服了经典DO/BO方法的关键局限，如对可逆协方差矩阵和避免特征值交叉的假设，并实现了在噪声数据下对长时间积分和反问题的精确求解，在随机Burgers方程和反应-扩散方程等基准问题中表现出高精度。

ABSTRACT

One of the open problems in scientific computing is the long-time integration of nonlinear stochastic partial differential equations (SPDEs). We address this problem by taking advantage of recent advances in scientific machine learning and the dynamically orthogonal (DO) and bi-orthogonal (BO) methods for representing stochastic processes. Specifically, we propose two new Physics-Informed Neural Networks (PINNs) for solving time-dependent SPDEs, namely the NN-DO/BO methods, which incorporate the DO/BO constraints into the loss function with an implicit form instead of generating explicit expressions for the temporal derivatives of the DO/BO modes. Hence, the proposed methods overcome some of the drawbacks of the original DO/BO methods: we do not need the assumption that the covariance matrix of the random coefficients is invertible as in the original DO method, and we can remove the assumption of no eigenvalue crossing as in the original BO method. Moreover, the NN-DO/BO methods can be used to solve time-dependent stochastic inverse problems with the same formulation and computational complexity as for forward problems. We demonstrate the capability of the proposed methods via several numerical examples: (1) A linear stochastic advection equation with deterministic initial condition where the original DO/BO method would fail; (2) Long-time integration of the stochastic Burgers' equation with many eigenvalue crossings during the whole time evolution where the original BO method fails. (3) Nonlinear reaction diffusion equation: we consider both the forward and the inverse problem, including noisy initial data, to investigate the flexibility of the NN-DO/BO methods in handling inverse and mixed type problems. Taken together, these simulation results demonstrate that the NN-DO/BO methods can be employed to effectively quantify uncertainty propagation in a wide range of physical problems.

研究动机与目标

• 解决具有任意初始条件的非线性时变随机PDEs的长时间积分挑战。
• 克服经典DO/BO方法的局限，如对可逆协方差矩阵的需求及避免特征值交叉的要求。
• 通过数据驱动的神经网络实现时变随机PDEs中有效不确定性量化。
• 将PINNs扩展至求解随机PDEs的前向与反问题，且计算开销最小化。
• 在反问题中展示对噪声大、散乱测量数据的鲁棒性。

提出的方法

• 提出NN-DO与NN-BO方法，将DO/BO约束隐式嵌入PINN损失函数中，避免显式推导模态演化方程。
• 采用广义时变Karhunen-Loève分解，将解表示为空间模态与随机系数之和。
• 通过损失函数正则化引入动态正交性（NN-DO）或双正交性（NN-BO）约束，确保分解的时间一致性。
• 利用自动微分训练神经网络，同时在时空域上强制满足PDE残差与模态约束。
• 通过将测量数据编码进损失函数，实现前向与反问题使用相同网络架构与训练成本。
• 应用于具有确定性初始条件与高维随机输入的问题，包括频繁发生特征值交叉的情形。

实验结果

研究问题

• RQ1 能否有效将PINNs与DO/BO方法结合，以求解时变随机PDEs，而无需显式推导模态演化方程？
• RQ2 NN-DO/BO框架能否克服经典DO/BO方法在可逆性与特征值交叉方面的局限？
• RQ3 NN-DO/BO方法在具有复杂随机动力学的非线性SPDEs长时间积分中表现如何？
• RQ4 NN-DO/BO方法能否使用与前向问题相同的公式求解具有噪声或稀疏数据的随机反问题？
• RQ5 在随机Burgers方程与反应-扩散方程等基准问题中，NN-DO/BO方法的精度与收敛行为如何？

主要发现

• NN-DO/BO方法成功求解了具有确定性初始条件的线性随机对流方程，而经典DO/BO方法因缺乏随机初始数据而失效。
• 在随机Burgers方程中，NN-BO方法在频繁发生特征值交叉的情况下仍实现稳定长时间积分，优于原始BO方法（后者在该条件下失效）。
• 在非线性反应-扩散方程中，NN-BO方法在$t=1.0$时对第一个随机系数$Y_1$的均方根误差（RMSE）达到0.019，表明在反问题设置中具有高精度。
• 反问题中推断的参数$a$与$b$在100,000次训练周期内收敛至真实值，证明了参数识别的鲁棒性。
• NN-DO/BO框架在前向与反问题中均保持一致的计算复杂度，支持混合类型问题的无缝应用。
• 该方法在多个测试案例中表现出有效的不确定性量化能力，包括高维随机输入与噪声初始数据，且精度下降极小。