[论文解读] Deep Hidden Physics Models: Deep Learning of Nonlinear Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|Jan 20, 2018

Model Reduction and Neural Networks参考文献 43被引用 305

一句话总结

本文提出了 Deep Hidden Physics Models，利用两个神经网络从散乱数据中同时学习解和控制非线性偏微分方程（PDE），实现基于 PINNs 的跨 Burgers’、KdV、Kuramoto–Sivashinsky、非线性薛定谔和纳维-斯托克斯方程的预测建模。

ABSTRACT

A long-standing problem at the interface of artificial intelligence and applied mathematics is to devise an algorithm capable of achieving human level or even superhuman proficiency in transforming observed data into predictive mathematical models of the physical world. In the current era of abundance of data and advanced machine learning capabilities, the natural question arises: How can we automatically uncover the underlying laws of physics from high-dimensional data generated from experiments? In this work, we put forth a deep learning approach for discovering nonlinear partial differential equations from scattered and potentially noisy observations in space and time. Specifically, we approximate the unknown solution as well as the nonlinear dynamics by two deep neural networks. The first network acts as a prior on the unknown solution and essentially enables us to avoid numerical differentiations which are inherently ill-conditioned and unstable. The second network represents the nonlinear dynamics and helps us distill the mechanisms that govern the evolution of a given spatiotemporal data-set. We test the effectiveness of our approach for several benchmark problems spanning a number of scientific domains and demonstrate how the proposed framework can help us accurately learn the underlying dynamics and forecast future states of the system. In particular, we study the Burgers', Korteweg-de Vries (KdV), Kuramoto-Sivashinsky, nonlinear Schr\\"{o}dinger, and Navier-Stokes equations.

研究动机与目标

• 旨在提出并发展一种数据驱动方法，以从散乱且可能带有噪声的时空数据中发现非线性PDE。
• 通过为解引入神经网络先验并使用自动微分来计算导数，避免显式数值微分。
• 将非线性动力学项 N(t,x,u,u_x,u_xx,...) 作为一个神经网络来建模，以绕开固定基函数库。
• 提供一个可应用于多种典型PDE的统一框架，并通过外推和预测展示其预测能力。

提出的方法

• 用一个深度神经网络来表示解 u，作为未知解的先验。
• 用第二个神经网络来表示非线性动力学 N，以建模PDE右端项。
• 定义 f := u_t − N(t,x,u,u_x,u_xx,…) 并通过自动微分（如 Tensorflow）计算导数。
• 通过将数据拟合项与PDE残差项相结合来最小化损失：sum_i |u(t_i,x_i)−u^i|^2 + |f(t_i,x_i)|^2。
• 可选择联合训练或逐步训练 u 和 N，以拟合数据并满足PDE。
• 用物理信息神经网络（PINNs）作为识别到的PDE的求解器来求解学习到的方程。

实验结果

研究问题

• RQ1 一个基于深度神经网络的框架是否能够从散乱的时空观测中识别出控制方程的非线性PDE？
• RQ2 该方法对噪声、数据稀疏以及动力学中包含的空间导数阶数的鲁棒性如何？
• RQ3 学到的PDE在多大程度上能推广到未见过的初始条件或数据集？

主要发现

• 该方法能识别出 Burgers’、KdV、Kuramoto–Sivashinsky、非线性薛定谔和纳维–斯托克斯方程的潜在PDE。
• Burgers’：在识别出的PDE 上的相对L2误差为4.78e-03，训练数据覆盖从 t=0 到 t=6.7，外推至 t=10。
• KdV：在学习的PDE上相对L2误差为6.28e-02，超出训练时域进行外推。
• 非线性薛定谔：学习系统的相对L2误差为6.28e-03。
• Kuramoto–Sivashinsky：相对L2误差为7.63e-02（未处理混沌模态）；在高度非线性情况下显示出局限性。
• 该框架对导数阶数的选择具有鲁棒性，但更高阶的导数增加计算成本，在 float32 精度下可能影响精度。