[論文レビュー] Deep Hidden Physics Models: Deep Learning of Nonlinear Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|Jan 20, 2018

Model Reduction and Neural Networks参考文献 43被引用数 305

ひとこと要約

本論文はDeep Hidden Physics Modelsを提案し、散乱データから解と支配方程式となる非線形PDEを2つのニューラルネットワークで学習させ、PINNsを用いた予測モデリングを可能にする。対象はBurgers’, KdV, Kuramoto–Sivashinsky, nonlinear Schrödinger, Navier–Stokes方程式である。

ABSTRACT

A long-standing problem at the interface of artificial intelligence and applied mathematics is to devise an algorithm capable of achieving human level or even superhuman proficiency in transforming observed data into predictive mathematical models of the physical world. In the current era of abundance of data and advanced machine learning capabilities, the natural question arises: How can we automatically uncover the underlying laws of physics from high-dimensional data generated from experiments? In this work, we put forth a deep learning approach for discovering nonlinear partial differential equations from scattered and potentially noisy observations in space and time. Specifically, we approximate the unknown solution as well as the nonlinear dynamics by two deep neural networks. The first network acts as a prior on the unknown solution and essentially enables us to avoid numerical differentiations which are inherently ill-conditioned and unstable. The second network represents the nonlinear dynamics and helps us distill the mechanisms that govern the evolution of a given spatiotemporal data-set. We test the effectiveness of our approach for several benchmark problems spanning a number of scientific domains and demonstrate how the proposed framework can help us accurately learn the underlying dynamics and forecast future states of the system. In particular, we study the Burgers', Korteweg-de Vries (KdV), Kuramoto-Sivashinsky, nonlinear Schr\\"{o}dinger, and Navier-Stokes equations.

研究の動機と目的

• 散乱で潜在的にノイズを含む時空データから非線形PDEを発見するデータ駆動法を動機づけ、開発する。
• 解のニューラルネットワーク事前分布と自動微分を用いて導関数を計算し、明示的な数値微分を回避する。
• 固定基底関数ライブラリを回避するため、N(t,x,u,u_x,u_xx,...) という非線形動力学項をニューラルネットワークとして学習する。
• 多様な標準PDEに適用可能な統一的な枠組みを提供し、外挿と予測を通じて予測能力を示す。

提案手法

• 未知解に対する事前分布として機能する深層ニューラルネットワーク1つで解uを表現する。
• PDEの右辺をモデル化するため、非線形動力学Nを別のニューラルネットワークで表現する。
• f := u_t − N(t,x,u,u_x,u_xx,…) を定義し、微分を自動微分（例: Tensorflow）で計算する。
• データフィットとPDE残差を組み合わせた損失を最小化して訓練する：sum_i |u(t_i,x_i)−u^i|^2 + |f(t_i,x_i)|^2。
• データに適合させ、PDEを満たすように、uとNを共同または逐次的に訓練する。
• 識別されたPDEのソルバーとして、物理情報付きニューラルネットワーク (PINNs) を用いて学習した方程式を解く。

実験結果

リサーチクエスチョン

• RQ1 散乱した時空観測から支配する非線形PDEを同定する深層ニューラルネットワークベースのフレームワークは実現できるか？
• RQ2 ノイズとデータの疎さ、および動力学に含まれる空間微分の次数に対する堅牢性はどの程度か？
• RQ3 学習されたPDEは未見の初期条件やデータセットにどの程度一般化できるか？

主な発見

• 本手法は Burgers’, KdV, Kuramoto–Sivashinsky, nonlinear Schrödinger, and Navier–Stokes 方程式の基底PDEを同定する。
• Burgers’: 識別されたPDEの相対L2誤差は4.78e-03、訓練データは t=0 から t=6.7、外挿は t=10。
• KdV: 学習したPDEの相対L2誤差は6.28e-02、訓練区間を越えて外挿。
• Nonlinear Schrödinger: 学習した系の相対L2誤差は6.28e-03。
• Kuramoto–Sivashinsky: 相対L2誤差7.63e-02（カオス領域は扱われていない）；高度に非線形な領域での限界を示す。
• 微分次数の選択に対して頑健だが、高次の導関数は計算コストを増加させ、float32精度では精度に影響する可能性がある。