[論文レビュー] FiniteNet: A Fully Convolutional LSTM Network Architecture for Time-Dependent Partial Differential Equations

Ben Stevens, Tim Colonius|arXiv (Cornell University)|Feb 7, 2020

Model Reduction and Neural Networks参考文献 38被引用数 31

ひとこと要約

FiniteNet は完全畳み込み LSTM を用いて finite-difference/finite-volume PDE ソルバーを補完し、線形移流、 inviscid Burgers’、および Kuramoto–Sivashinsky 方程式全体で誤差を 2–3x 減少させます。

ABSTRACT

In this work, we present a machine learning approach for reducing the error when numerically solving time-dependent partial differential equations (PDE). We use a fully convolutional LSTM network to exploit the spatiotemporal dynamics of PDEs. The neural network serves to enhance finite-difference and finite-volume methods (FDM/FVM) that are commonly used to solve PDEs, allowing us to maintain guarantees on the order of convergence of our method. We train the network on simulation data, and show that our network can reduce error by a factor of 2 to 3 compared to the baseline algorithms. We demonstrate our method on three PDEs that each feature qualitatively different dynamics. We look at the linear advection equation, which propagates its initial conditions at a constant speed, the inviscid Burgers' equation, which develops shockwaves, and the Kuramoto-Sivashinsky (KS) equation, which is chaotic.

研究の動機と目的

• 時間依存PDEソルバーにおける数値誤差の低減を動機付ける。
• 空間離散化と時間動的性を共同で活用するニューラルアーキテクチャを提案する。
• シミュレーションデータから学習しつつ収束保証を維持する。
• 複数の質的に異なるPDE（線形移流、Burgers’、KS）に渡る誤差削減を実証する。

提案手法

• 空間微分を計算するために、有限差分/有限体積型のステンシルを模した完全畳み込みLSTMを採用する。
• 各格子点にLSTMを用いて時間ステップ間で情報を伝搬させる。
• 最大次数離散化係数の摂動を L2 正則化で学習し、続いて秩序精度を保証するためのアファイン変換を適用する（ĉ -> ĉ̂ + Δĉ）。
• 正確解または高忠実度解と比べて長期的なシミュレーション誤差を最小化することで、時間に沿って前方推論をシミュレーションしてエンドツーエンドで学習する。
• 学習された係数が所定の精度条件を満たすよう制約することで数値的安定性と収束保証を確保する（閉形式 Δĉ 計算を介して）。

実験結果

リサーチクエスチョン

• RQ1 FiniteNet は基準の FDM/FVM 法に対して、さまざまなPDEダイナミクスにおいて離散化誤差を低減できるか。
• RQ2 LSTMベースの時間的メモリを PDE に着想を得た空間離散化と統合することで、既知の収束速度を維持できるか。
• RQ3 不連続性（ショック波）やカオス的ダイナミクス（KS方程式）を含む問題で、標準ソルバーと比較して FiniteNet はどのように機能するか。

主な発見

• FiniteNet は 3 つの PDE に渡って、基準法と比較して誤差を2–3倍削減する。
• 線形移流と inviscid Burgers’ では、FiniteNet は不連続性をよりシャープに解像し、時折小さな振動が生じるものの全体的に誤差が低い。
• Kuramoto–Sivashinsky では、FiniteNet は混沌的な軌跡の追跡を改善し、FDMよりも平均誤差と分散が小さい。
• テストケース全体で、FiniteNet は経験的な安定性を示し、古典的な方法よりもカオス的ダイナミクスに対してより信頼性の高い性能を提供する。
• 線形移動のタスクからの初期ハイパーパラメータの初期化は、 Burgers’ および KS 方程式へ控えめな調整で一般化された。