[論文レビュー] Neural Time-Dependent Partial Differential Equation

Yihao Hu, Tong Zhao+2 more|arXiv (Cornell University)|May 4, 2021

Model Reduction and Neural Networks参考文献 25被引用数 6

ひとこと要約

この論文では、PDEの解析的形の事前知識がなくても、データから時間依存偏微分方程式（PDE）を自動で学習・シミュレートできる、双方向LSTMエンコーダーを用いたシーケンス・ツー・シーケンス学習フレームワークであるNeural-PDEを提案する。すべてのシステム変数を同時にモデル化し、時間ステップ間で共有パラメータを用いることで計算複雑度を低減し、20エポック未満で高精度な予測を達成する。

ABSTRACT

Partial differential equations (PDEs) play a crucial role in studying a vast number of problems in science and engineering. Numerically solving nonlinear and/or high-dimensional PDEs is frequently a challenging task. Inspired by the traditional finite difference and finite elements methods and emerging advancements in machine learning, we propose a sequence-to-sequence learning (Seq2Seq) framework called Neural-PDE, which allows one to automatically learn governing rules of any time-dependent PDE system from existing data by using a bidirectional LSTM encoder, and predict the solutions in next n time steps. One critical feature of our proposed framework is that the Neural-PDE is able to simultaneously learn and simulate all variables of interest in a PDE system. We test the Neural-PDE by a range of examples, from one-dimensional PDEs to a multi-dimensional and nonlinear complex fluids model. The results show that the Neural-PDE is capable of learning the initial conditions, boundary conditions and differential operators defining the initial-boundary-value problem of a PDE system without the knowledge of the specific form of the PDE system. In our experiments, the Neural-PDE can efficiently extract the dynamics within 20 epochs training and produce accurate predictions. Furthermore, unlike the traditional machine learning approaches for learning PDEs, such as CNN and MLP, which require great quantity of parameters for model precision, the Neural-PDE shares parameters among all time steps, and thus considerably reduces computational complexity and leads to a fast learning algorithm.

研究の動機と目的

• PDEの解析的形の事前知識がなくても、時間依存PDE系の支配的ルールを自動で発見できるデータ駆動型フレームワークの開発。
• 従来の手法で計算コストが非常に高い非線形かつ高次元のPDEを数値的に解く課題の解決。
• 個々の変数ごとに別々のモデルを必要とせず、PDE系のすべての変数を同時に学習・予測可能にする。
• 従来のPDE用深層学習モデルとは異なり、時間ステップ間でパラメータを共有することでモデルの複雑度とトレーニングコストを低減する。
• 1次元から複雑な多次元流体動力学系まで、多様なPDEに対して本手法の有効性を実証する。

提案手法

• フレームワークは、PDE系の履歴時系列データを処理するために双方向LSTMエンコーダーを採用する。
• シーケンス・ツー・シーケンス（Seq2Seq）アーキテクチャを用いて、将来のnステップ分の解を予測し、デコーダーはエンコードされたコンテキストに基づいて将来の状態を生成する。
• モデルはすべての時間ステップでパラメータを共有しており、トレーニング可能なパラメータ数と計算コストを顕著に削減している。
• 明示的な指定が不要な状態で、データから初期条件および境界条件を暗黙的に学習する。
• エンドツーエンドでトレーニングされ、微分作用素を含む観測データからのPDEダイナミクス全体の再構築を目的とする。
• 線形および非線形PDEの両方を扱えるように設計されており、多次元流体動力学モデルなどの複雑な系に対しても対応可能である。

実験結果

リサーチクエスチョン

• RQ1 事前知識なしに観測データから支配的PDEダイナミクスを自動で発見できるか？
• RQ2 多変数PDE系において、すべての変数を高精度に同時に学習・予測できるか？
• RQ3 Seq2Seqアーキテクチャにおける時間ステップ間のパラメータ共有は、標準的なMLPやCNNアプローチと比較して収束を速め、計算複雑度を低減するか？
• RQ4 非線形および高次元PDE、特に複雑な流体動力学に、本モデルはどの程度一般化性能を示すか？
• RQ5 明示的な入力を必要とせず、データから直接初期条件および境界条件を推定できるか？

主な発見

• Neural-PDEは、方程式形式の事前知識がなくても、微分作用素および境界条件を含め、データから基礎的なPDEダイナミクスを成功裏に学習した。
• 20エポック未満で高精度な予測を達成し、収束が速いことが示された。
• 時間ステップ間でパラメータを共有することで、標準的なMLPやCNNアプローチと比較して、パラメータ数を顕著に削減し、計算複雑度を低減した。
• 高精度で多次元的かつ非線形なPDE系、例えば複雑な流体モデルのシミュレーションに効果的に対応した。
• パラメータ効率性とトレーニング速度の点で、従来のPDE用機械学習モデルを上回った。
• 双方向LSTMエンコーダーは、限られたデータからも、空間時間的ダイナミクスの強固な表現学習を可能にした。