[论文解读] Neural Stochastic PDEs: Resolution-Invariant Learning of Continuous Spatiotemporal Dynamics

Cristopher Salvi, Maud Lemercier+1 more|arXiv (Cornell University)|Oct 19, 2021

Model Reduction and Neural Networks被引用 11

一句话总结

该论文提出了神经随机PDE（NSPDE），一种新颖的神经架构，通过同时建模初始条件和随机噪声实现对随机PDE解算子的分辨率不变学习。通过在频域中操作并利用SPDE的温和解理论，NSPDE可借助ODE求解器或定点迭代实现高效计算，相比传统求解器在准确率上更高，且推理速度最快提升1,000倍，同时对数据的需求更低。

ABSTRACT

Stochastic partial differential equations (SPDEs) are the mathematical tool of choice for modelling spatiotemporal PDE-dynamics under the influence of randomness. Based on the notion of mild solution of an SPDE, we introduce a novel neural architecture to learn solution operators of PDEs with (possibly stochastic) forcing from partially observed data. The proposed Neural SPDE model provides an extension to two popular classes of physics-inspired architectures. On the one hand, it extends Neural CDEs and variants -- continuous-time analogues of RNNs -- in that it is capable of processing incoming sequential information arriving at arbitrary spatial resolutions. On the other hand, it extends Neural Operators -- generalizations of neural networks to model mappings between spaces of functions -- in that it can parameterize solution operators of SPDEs depending simultaneously on the initial condition and a realization of the driving noise. By performing operations in the spectral domain, we show how a Neural SPDE can be evaluated in two ways, either by calling an ODE solver (emulating a spectral Galerkin scheme), or by solving a fixed point problem. Experiments on various semilinear SPDEs, including the stochastic Navier-Stokes equations, demonstrate how the Neural SPDE model is capable of learning complex spatiotemporal dynamics in a resolution-invariant way, with better accuracy and lighter training data requirements compared to alternative models, and up to 3 orders of magnitude faster than traditional solvers.

研究动机与目标

• 开发一种神经架构，从部分观测数据中学习SPDE的解算子，且对空间和时间分辨率保持不变。
• 通过支持对时空场的连续、分辨率不变处理，扩展神经CDE和神经算子，以应对具有随机驱动力的SPDE。
• 提供一种可微且可扩展的框架，利用谱方法和温和解理论建模SPDE中的复杂非线性相互作用。
• 与经典求解器及现有SPDE深度学习模型相比，降低数据和计算需求。

提出的方法

• 该模型基于SPDE的温和解公式，使谱方法能够高效计算。
• 通过在频域中使用神经网络，将解算子参数化为从初始条件和噪声实现到解场的映射。
• 该模型支持两种求解模式：在频域中求解ODE（模拟谱伽辽金方法）或求解定点问题。
• 架构集成了Picard迭代方案以处理半线性SPDE中的非线性，迭代次数作为超参数控制。
• 利用空间场的谱表示，通过在傅里叶模态上操作，实现分辨率不变的推理。
• 通过在观测解轨迹上使用路径损失函数的标准随机梯度下降进行训练。

实验结果

研究问题

• RQ1 神经网络架构能否以对空间和时间分辨率不变的方式学习SPDE的解算子？
• RQ2 在随机PDE上，所提出的NSPDE模型与FNO和神经CDE等现有模型相比，在准确率和效率方面表现如何？
• RQ3 同时纳入初始条件和噪声实现对SPDE学习预测性能的提升程度如何？
• RQ4 与传统数值求解器相比，频域公式是否能实现更快的推理速度和更低的数据需求？
• RQ5 Picard迭代次数如何影响模型捕捉SPDE中非线性动力学的能力？

主要发现

• 在T=0.05时，NSPDE在乘性噪声Ginzburg-Landau方程上的相对L2误差为0.016，优于FNO（0.040）和P=1的NSPDE（0.023）。
• 对于随机Navier-Stokes方程，NSPDE在T=0.25时将相对L2误差降低至0.040（P=4），相较于P=1和FNO表现出持续改进。
• 在随机波动方程中，NSPDE对ξ→u映射的测试误差为0.023，优于FNO（0.026）和NCDE-FNO（0.029）。
• 在确定性Navier-Stokes PDE上，NSPDE的相对L2误差为0.17，与FNO性能相当，表明其在非随机场景下也具有适用性。
• 该模型在所有测试问题上实现了相比传统求解器高达1,000倍的加速，同时保持了高准确率。
• Picard迭代的使用提升了长时域下的性能，误差从P=1到P=4逐步下降，尤其在T=0.25时，误差由0.079降至0.072。