[論文レビュー] Deep Hidden Physics Models: Deep Learning of Nonlinear Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|Jan 20, 2018

Model Reduction and Neural Networks参考文献 28被引用数 438

ひとこと要約

この論文は、散乱データ（場合によってはノイズを含む）から、解uと非線形ダイナミクスNの双方を学習する Deep Hidden Physics Models を導入し、PINNs を用いた複数の標準的なPDEにおいて正確な発見と予測を示します。

ABSTRACT

A long-standing problem at the interface of artificial intelligence and applied mathematics is to devise an algorithm capable of achieving human level or even superhuman proficiency in transforming observed data into predictive mathematical models of the physical world. In the current era of abundance of data and advanced machine learning capabilities, the natural question arises: How can we automatically uncover the underlying laws of physics from high-dimensional data generated from experiments? In this work, we put forth a deep learning approach for discovering nonlinear partial differential equations from scattered and potentially noisy observations in space and time. Specifically, we approximate the unknown solution as well as the nonlinear dynamics by two deep neural networks. The first network acts as a prior on the unknown solution and essentially enables us to avoid numerical differentiations which are inherently ill-conditioned and unstable. The second network represents the nonlinear dynamics and helps us distill the mechanisms that govern the evolution of a given spatiotemporal data-set. We test the effectiveness of our approach for several benchmark problems spanning a number of scientific domains and demonstrate how the proposed framework can help us accurately learn the underlying dynamics and forecast future states of the system. In particular, we study the Burgers', Korteweg-de Vries (KdV), Kuramoto-Sivashinsky, nonlinear Schrödinger, and Navier-Stokes equations.

研究の動機と目的

• 第一原理の導出が困難な場合の governing PDEs のデータ駆動発見を動機づける。
• データから解と非線形ダイナミクスを同時に学習する2ネットワークの枠組みを提案し、明示的な導関数計算を行わずに済ませる。
• 数値微分を避けるためにニューラルネットワーク先験性と自動微分を用い、安定した学習を実現する。
• 流体力学と非線形波動方程式にまたがるベンチマークPDE上でこのアプローチを実証し、ノイズに対する頑健性を評価する。

提案手法

• 解uと非線形関数Nを2つの深層ニューラルネットワークで表現する。
• Deep Hidden Physics Model f = u_t - N(t, x, u, u_x, u_xx, ...).
• 微分を有限差分ではなく自動微分（例：TensorFlow など）で計算する。
• コロケーション点でデータ適合（u）とPDE残差（f）を組み合わせた損失を最小化することによって訓練する。
• 学習したPDEを物理情報付きニューラルネットワーク（PINNs）を解法として用い、将来の状態を予測する。

実験結果

リサーチクエスチョン

• RQ1 解のニューラルネットワーク表現とダイナミクスの別個のネットワークが、散乱データから基礎となる非線形PDEを同定できるだろうか？
• RQ2 N に含まれる微分の階数は同定性、精度、境界条件の要件にどのような影響を与えるか？
• RQ3 ノイズや訓練領域を超える外挿に対するアプローチの頑健性はどの程度か？
• RQ4 この手法は異なるPDE（Burgers、KdV、Kuramoto–Sivashinsky、非線形シュレーディンガー方程式、Navier–Stokes）にどれだけ一般化できるか？

主な発見

• Burgers 方程式は、訓練データにおける相対L2誤差4.78e-03、訓練部分での相対L2誤差3.89e-03で学習される。
• ガウス初期条件を持つ Burgers では、学習されたPDEは別データセットに対して相対L2誤差7.33e-02へ外挿できる。
• KdV 方程式では、学習されたPDEはテストデータで相対L2誤差6.28e-02、訓練部分で3.78e-02を達成。
• 非線形シュレーディンガー方程式では、解の絶対値を再現する際に相対L2誤差6.28e-03を得る。
• Kuramoto–Sivashinsky 方程式では、研究領域内で相対L2誤差7.63e-02を達成。
• Navier–Stokes の例は、2D 流れへの適用可能性を示し、複数の標準PDEにわたる一般化可能性を支持する。