[論文レビュー] PDE-Net: Learning PDEs from Data

Zichao Long, Yiping Lu+2 more|arXiv (Cornell University)|Oct 26, 2017

Model Reduction and Neural Networks参考文献 5被引用数 219

ひとこと要約

PDE-Net は制約付き学習可能フィルターとニューラルネットワークを用いて微分演算子を学習し、ダイナミクスを予測しデータから基礎となる PDE モデルを明らかにする。

ABSTRACT

In this paper, we present an initial attempt to learn evolution PDEs from data. Inspired by the latest development of neural network designs in deep learning, we propose a new feed-forward deep network, called PDE-Net, to fulfill two objectives at the same time: to accurately predict dynamics of complex systems and to uncover the underlying hidden PDE models. The basic idea of the proposed PDE-Net is to learn differential operators by learning convolution kernels (filters), and apply neural networks or other machine learning methods to approximate the unknown nonlinear responses. Comparing with existing approaches, which either assume the form of the nonlinear response is known or fix certain finite difference approximations of differential operators, our approach has the most flexibility by learning both differential operators and the nonlinear responses. A special feature of the proposed PDE-Net is that all filters are properly constrained, which enables us to easily identify the governing PDE models while still maintaining the expressive and predictive power of the network. These constrains are carefully designed by fully exploiting the relation between the orders of differential operators and the orders of sum rules of filters (an important concept originated from wavelet theory). We also discuss relations of the PDE-Net with some existing networks in computer vision such as Network-In-Network (NIN) and Residual Neural Network (ResNet). Numerical experiments show that the PDE-Net has the potential to uncover the hidden PDE of the observed dynamics, and predict the dynamical behavior for a relatively long time, even in a noisy environment.

研究の動機と目的

• 限定された事前知識しかない複雑系の支配方程式 PDE のデータ主導発見を動機づける。
• ダイナミクスを予測しつつ隠れた PDE 形を明らかにできる深いフィードフォワードネットワークを開発する。
• trainable な制約付き畳み込み核と非線形応答関数 F とともに微分演算子を学習する。

提案手法

• u_t = F(x,y,u, u_x, u_y, u_xx, u_xy, u_yy, ...) の離散で学習可能な形で PDE を表現する。
• 畳み込み核を用いて微分演算子の離散化を学習する。F は点ごとのニューラルネットワークで学習する。
• 学習した演算子を微分演算子へ結びつけるため、モーメント行列を用いたフィルターの制約を適用して和則に結びつける。
• 複数の delta-t ブロックを積み重ねて長時間の安定性を確保し、長期予測を可能にする。
• メモリを削減し整合性を確保するために層間でパラメータを共有する。
• 既知の微分演算子に対応するようにフィルターを初期化し、訓練中に徐々に制約を解放する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるデータから長時間にわたる複雑なダイナミクスを正確に予測できるか？
• RQ2 PDE-Net は観測されたダイナミクスから基礎となる PDE 構造（係数と演算子）を明らかにできるか？
• RQ3 フィルターサイズとネットワーク深さは予測の安定性と PDE 同定にどのような影響を与えるか？
• RQ4 モーメント行列を介したフィルターの制約は支配 PDE の識別性を高めるか？

主な発見

• PDE-Net は長期予測を達成し、Frozen-PDE-Net を凌駕し、特により大きな 7x7 フィルターで効果を示す。
• δ-t ブロック数を増やすと長期予測の安定性と精度が向上する。
• 線形問題では学習された係数は真のPDE係数と概ね一致し、ノイズの影響で一部振動が生じる。
• より大きいフィルター (7x7) は小さいフィルター (5x5) に比べて信頼できる予測範囲を拡張する。
• PDE-Net は線形テストにおいて、存在しない項の近似ゼロ係数を識別することで隠れた PDE を明らかにできる。
• パラメータを共有しフィルター制約を適用した層別訓練は学習効率と識別性を高める。