[论文解读] Multi-resolution partial differential equations preserved learning framework for spatiotemporal dynamics

Xin‐Yang Liu, Min Zhu+3 more|arXiv (Cornell University)|May 9, 2022

Model Reduction and Neural Networks被引用 12

一句话总结

本文提出了一种多分辨率PDE保持神经网络（PPNN），将离散化的偏微分方程（PDE）直接嵌入卷积残差网络的架构中，实现无需依赖损失权重超参数的物理信息学习。该方法在反应-扩散方程、Burgers方程和Navier-Stokes方程上均实现了优越的泛化能力和长期预测精度，优于黑箱模型以及PINN、FNO和DeepONet等物理信息基线模型，在外推和参数泛化方面表现更优。

ABSTRACT

Traditional data-driven deep learning models often struggle with high training costs, error accumulation, and poor generalizability in complex physical processes. Physics-informed deep learning (PiDL) addresses these challenges by incorporating physical principles into the model. Most PiDL approaches regularize training by embedding governing equations into the loss function, yet this depends heavily on extensive hyperparameter tuning to weigh each loss term. To this end, we propose to leverage physics prior knowledge by ``baking'' the discretized governing equations into the neural network architecture via the connection between the partial differential equations (PDE) operators and network structures, resulting in a PDE-preserved neural network (PPNN). This method, embedding discretized PDEs through convolutional residual networks in a multi-resolution setting, largely improves the generalizability and long-term prediction accuracy, outperforming conventional black-box models. The effectiveness and merit of the proposed methods have been demonstrated across various spatiotemporal dynamical systems governed by spatiotemporal PDEs, including reaction-diffusion, Burgers', and Navier-Stokes equations.

研究动机与目标

• 为解决数据驱动深度学习在复杂物理系统中的局限性，包括高训练成本、误差累积和泛化能力差的问题。
• 通过将控制PDE直接嵌入网络架构，克服物理信息深度学习（PiDL）中对超参数调优的依赖。
• 通过利用PDE算子与残差网络之间的结构等价性，提升时空动力学的样本效率和泛化能力。
• 在未见参数和长期预测中实现稳健性能，尤其在外部扩展区域表现优异。
• 证明在PiDL中，架构层面的物理信息整合相较于基于损失函数的正则化更具有效性。

提出的方法

• 该方法通过将源自有限差分法、有限体积法或有限元法的离散化PDE算子直接嵌入卷积网络的残差块架构中，构建PDE保持神经网络（PPNN）。
• 采用多分辨率框架，在不同尺度上处理空间和时间动态，增强表征学习能力和稳定性。
• 网络结构设计使得每个残差块对应于控制PDE数值离散化中的一个时间步，从而将物理定律有效嵌入模型的归纳偏置中。
• 通过将PDE残差作为架构组件编码，避免使用损失函数正则化，消除了对手动损失权重的依赖。
• 该框架支持正问题与逆问题，兼容多种PDE类型，包括反应-扩散方程、Burgers方程和Navier-Stokes方程。
• 利用卷积残差网络（ResNets）近似PDE的解算子，网络深度对应于时间演化步数。

实验结果

研究问题

• RQ1 将离散化PDE直接嵌入神经网络架构是否能超越基于损失函数的物理正则化，实现更优的泛化能力？
• RQ2 与黑箱模型和基于PINN的模型相比，PPNN框架在长期预测和参数外推中的表现如何？
• RQ3 多分辨率设计在多大程度上提升了时空动力学建模的稳定性和准确性？
• RQ4 与传统PiDL方法相比，架构层面的物理信息整合是否降低了对超参数调优的敏感性？
• RQ5 在分布外参数区域中，PPNN与FNO和DeepONet等最先进神经算子方法相比表现如何？

主要发现

• 在粘性Burgers方程和Navier-Stokes方程的长期预测中，PPNN的相对误差显著更低，尤其在参数外推情况下，优于FNO、DeepONet和PINN。
• 该方法在训练参数和未见参数下均表现出一致性能，显示出强大的泛化能力，而PINO和FNO在测试未见粘度时性能大幅下降。
• PPNN在无需对损失权重进行大量超参数调优的情况下保持稳定性能，而PINN和PINO则对这类设置高度敏感。
• 在反应-扩散情形下，即使在未见参数下，PPNN生成的解快照也比黑箱ConvResNet更准确，且随时间推移误差累积极少。
• 对于未见参数下的粘性Burgers方程，PPNN在后期时间步仍保持低误差，而FNO和DeepONet在前几步后即出现显著发散。
• 多分辨率设计提升了准确性和稳定性，尤其在捕捉细尺度动力学和长期演化方面，如时间与参数空间中的对比轮廓可视化所示。