[论文解读] Deep Hidden Physics Models: Deep Learning of Nonlinear Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|Jan 20, 2018

Model Reduction and Neural Networks参考文献 28被引用 438

一句话总结

本论文提出深度隐藏物理模型，利用两个神经网络从分散、可能带噪声的数据中同时学习解 u 和偏微分方程中的非线性动力学 N，并通过 PINNs 在若干典型 PDEs 上展示出准确的发现与预测。

ABSTRACT

A long-standing problem at the interface of artificial intelligence and applied mathematics is to devise an algorithm capable of achieving human level or even superhuman proficiency in transforming observed data into predictive mathematical models of the physical world. In the current era of abundance of data and advanced machine learning capabilities, the natural question arises: How can we automatically uncover the underlying laws of physics from high-dimensional data generated from experiments? In this work, we put forth a deep learning approach for discovering nonlinear partial differential equations from scattered and potentially noisy observations in space and time. Specifically, we approximate the unknown solution as well as the nonlinear dynamics by two deep neural networks. The first network acts as a prior on the unknown solution and essentially enables us to avoid numerical differentiations which are inherently ill-conditioned and unstable. The second network represents the nonlinear dynamics and helps us distill the mechanisms that govern the evolution of a given spatiotemporal data-set. We test the effectiveness of our approach for several benchmark problems spanning a number of scientific domains and demonstrate how the proposed framework can help us accurately learn the underlying dynamics and forecast future states of the system. In particular, we study the Burgers', Korteweg-de Vries (KdV), Kuramoto-Sivashinsky, nonlinear Schrödinger, and Navier-Stokes equations.

研究动机与目标

• 在第一性原理推导不可行时，激励对支配方程 PDE 的数据驱动发现。
• 提出一个两网络框架，在不进行显式导数计算的情况下学习解与非线性动力学。
• 通过神经网络先验与自动微分来避免数值微分，从而实现稳定训练。
• 在覆盖流体力学与非线性波动方程的基准 PDE 上演示该方法，并评估对噪声的鲁棒性。

提出的方法

• 用两个深度神经网络表示解 u 和非线性函数 N。
• 将 Deep Hidden Physics Model 定义为 f = u_t - N(t, x, u, u_x, u_xx, ...)。
• 通过自动微分（如 TensorFlow）计算导数，而非有限差分。
• 通过最小化在对偶点处结合数据拟合项（u）和偏微分方程残差项（f）的损失来训练。
• 使用物理信息神经网络（PINNs）作为求解器来求解学得的 PDE，以预测未来状态。

实验结果

研究问题

• RQ1 基于神经网络表示的解以及单独的动力学网络是否能从分散数据中识别潜在的非线性 PDE？
• RQ2 包含在 N 中的导数阶数如何影响可识别性、准确性和边界条件要求？
• RQ3 该方法对噪声以及跨越训练域的外推具有多大鲁棒性？
• RQ4 该方法对不同 PDE 的泛化能力有多强（Burgers、KdV、Kuramoto–Sivashinsky、非线性薛定谔、Navier–Stokes）？

主要发现

• 对 Burgers 方程，在训练数据上的相对 L2 误差为 4.78e-03，在训练部分为 3.89e-03。
• 对于高斯初始条件的 Burgers，学到的 PDE 外推在另一数据集上的相对 L2 误差为 7.33e-02。
• 对于 KdV 方程，学得的 PDE 在测试数据上的相对 L2 误差为 6.28e-02，在训练部分为 3.78e-02。
• 对于非线性薛定谔方程，该方法在再现解的绝对值方面得到相对 L2 误差 6.28e-03。
• 对于 Kuramoto–Sivashinsky 方程，该方法在所研究的范围内达到相对 L2 误差 7.63e-02。
• Navier–Stokes 的示例证明了该框架对二维流动的适用性，并支持其在多种典型 PDE 上的泛化能力。