[論文レビュー] Neural-PDE: A RNN based neural network for solving time dependent PDEs

Yihao Hu, Tong Zhao+3 more|arXiv (Cornell University)|Sep 8, 2020

Model Reduction and Neural Networks被引用数 6

ひとこと要約

Neural-PDE は、時間に依存する偏微分方程式（PDE）の解を、元の方程式の知識がなくてもデータから学習・予測できる、双方向LSTMを用いたシーケンス・ツー・シーケンスRNNフレームワークを提案する。この手法は、複雑で非線形的かつ結合されたPDE系（例：Cahn-Hilliard-Navier-Stokesモデル）を、20エポック未満の最小限の学習で高い精度で予測可能であり、時間ステップ間で重みを共有することにより、パラメータの複雑さを低減する。

ABSTRACT

Partial differential equations (PDEs) play a crucial role in studying a vast number of problems in science and engineering. Numerically solving nonlinear and/or high-dimensional PDEs is often a challenging task. Inspired by the traditional finite difference and finite elements methods and emerging advancements in machine learning, we propose a sequence deep learning framework called Neural-PDE, which allows to automatically learn governing rules of any time-dependent PDE system from existing data by using a bidirectional LSTM encoder, and predict the next n time steps data. One critical feature of our proposed framework is that the Neural-PDE is able to simultaneously learn and simulate the multiscale variables.We test the Neural-PDE by a range of examples from one-dimensional PDEs to a high-dimensional and nonlinear complex fluids model. The results show that the Neural-PDE is capable of learning the initial conditions, boundary conditions and differential operators without the knowledge of the specific form of a PDE system.In our experiments the Neural-PDE can efficiently extract the dynamics within 20 epochs training, and produces accurate predictions. Furthermore, unlike the traditional machine learning approaches in learning PDE such as CNN and MLP which require vast parameters for model precision, Neural-PDE shares parameters across all time steps, thus considerably reduces the computational complexity and leads to a fast learning algorithm.

研究の動機と目的

• 時間に依存するPDEの支配的ダイナミクスを、PDEの形の明示的知識が不要な状態で、データから直接学習する深層学習フレームワークの開発。
• 従来の数値的手法では困難な高次元的・非線形的・結合的PDE系を解く課題に対処すること。
• 従来の深層学習モデルが深さと幅に比例して複雑化するのとは異なり、時間ステップ間でパラメータを共有することにより、モデルの複雑さを低減し、学習効率を向上させること。
• エンド・ツー・エンドのシーケンス・ツー・シーケンス学習により、初期条件および境界条件を含むPDE系のすべての変数を同時に学習・予測すること。
• 複雑な流体における相場モデルなど、不連続性や多スケール特徴を持つPDEの正確なシミュレーションを可能にすること。

提案手法

• PDEシミュレーションから得られる空間的・時間的データ系列を処理するため、双方向LSTMエンコーダを備えたシーケンス・ツー・シーケンス（Seq2Seq）アーキテクチャを採用する。
• 双方向LSTMの隠れ状態を用いて、各時間ステップにおけるシステムの完全な空間的・時間的状態を符号化し、長期依存性の学習を可能にする。
• 次の $ n $ 個の時間ステップの解を予測するデコーダLSTMを適用し、時間ステップ間で重みを共有することで、パラメータ数と計算コストを低減する。
• 圧力 $ p imes 10^5 $ のような大きな動的範囲を示す変数は、学習安定性および特徴抽出の向上のため、シグモイド関数を用いて正規化する。
• 高精度な数値ソルバー（例：Crank-Nicolson FEMを用いたFreeFem++）によって生成された時系列データ上で、教師あり学習でモデルを訓練する。
• RNNの内在的な時間ステッピング性を活用し、従来の数値スキーム（例：前進オイラー、Crank-Nicolson）を模倣することで、ネットワークが潜在的なPDE作用素を暗黙的に学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、方程式の形の事前知識がなくても、時間に依存するPDEの支配的ダイナミクスを学習できるか？
• RQ2 再帰的ニューラルネットワークアーキテクチャは、複数の空間次元にわたるPDE解において、長期的な時間的依存性を効果的に捉えることができるか？
• RQ3 RNNベースのフレームワークにおいて、時間ステップ間でパラメータを共有することは、完全結合型または畳み込み型ネットワークと比較して、モデルの効率性および予測精度にどのように影響するか？
• RQ4 速度、圧力、相場変数など、スケールが著しく異なる複数の結合変数を、複雑な流体系で同時に学習・予測できるか？
• RQ5 不連続解や高非線形性を示すPDE（例：Cahn-Hilliard-Navier-Stokes系）に対して、モデルはどの程度一般化可能か？

主な発見

• Neural-PDE は、1次元および多次元PDE、特に極めて非線形的なCahn-Hilliard-Navier-Stokes系を含む、高精度で解を学習・予測可能である。
• 複雑な流体系のテストケースにおいて、圧力および相場変数の平均二乗誤差（MSE）が $ 6.1631 imes 10^{-7} $ に達し、正確な解と優れた一致を示している。
• 20エポック未満で学習が収束しており、PDE系の複雑さにもかかわらず、高速な学習が可能であることを示している。
• シグモイド正規化により、$ ho imes 10^{-5} $ のような著しく異なるスケールの変数に対しても効果的に対処でき、学習安定性が向上した。
• 時間ステップ間でのパラメータ共有により、従来のMLPやCNNベースのPDEソルバーと比較して、モデルの複雑さと計算コストが顕著に低減された。
• モデルは連続的および不連続的解の両方に対して一般化可能であり、データから初期条件および境界条件を暗黙的に推定できる。