[論文レビュー] Cell-average based neural network method for hyperbolic and parabolic partial differential equations

Changxin Qiu, Jue Yan|arXiv (Cornell University)|Jul 2, 2021

Model Reduction and Neural Networks参考文献 48被引用数 9

ひとこと要約

本稿では、有限体積法にインspiredして、時間ステップ間のセル平均解値の時間発展を学習するフィードフォワードネットワークを訓練することにより、双曲型および放物型PDEを解くためのセル平均ベースのニューラルネットワーク（CANN）手法を提案する。この手法は、明示スキームのCFL安定性制約を回避し、大きな時間ステップを許容しながら、衝撃波、希薄波、接触不連続性を最小限の数値拡산で正確に捉えることができる。

ABSTRACT

Motivated by finite volume scheme, a cell-average based neural network method is proposed. The method is based on the integral or weak formulation of partial differential equations. A simple feed forward network is forced to learn the solution average evolution between two neighboring time steps. Offline supervised training is carried out to obtain the optimal network parameter set, which uniquely identifies one finite volume like neural network method. Once well trained, the network method is implemented as a finite volume scheme, thus is mesh dependent. Different to traditional numerical methods, our method can be relieved from the explicit scheme CFL restriction and can adapt to any time step size for solution evolution. For Heat equation, first order of convergence is observed and the errors are related to the spatial mesh size but are observed independent of the mesh size in time. The cell-average based neural network method can sharply evolve contact discontinuity with almost zero numerical diffusion introduced. Shock and rarefaction waves are well captured for nonlinear hyperbolic conservation laws.

研究の動機と目的

• 有限体積法の安定性および保存性の性質を継承する双曲型および放物型PDE用のニューラルネットワークソルバーを開発すること。
• 従来の明示的有限体積スキームに内在するCFL時間ステップ制限を、機械学習を活用して安定な時間発展を学習することで克服すること。
• 衝撃波、希薄波、接触不連続性を含む非線形保存則の正確なシミュレーションを、メッシュ依存の有限体積型ニューラルネットワークを用いて可能にすること。
• 正確な解または高精度解のペアを用いてネットワークを学習させ、連続する時間ステップにおけるセル平均間の写像を学習することで、弱形式と整合性を保つこと。
• 訓練データとは異なる状態、特に衝撃波と希薄波の相互作用後のダイナミクスに対しても、学習済みネットワークが一般化可能であることを示すこと。

提案手法

• 手法はPDEの弱形式または積分形式に基づき、主にセル平均解値を状態の主要表現とする。
• フィードフォワードニューラルネットワークを用いて、時間ステップ$n$におけるセル平均状態を時間ステップ$n+1$における状態に写像するように、オフラインの教師あり学習により訓練する。
• ネットワークの入力は、隣接するセル平均のスタencil（例：$\bar{u}^{n}_{j-4}$ から $\bar{u}^{n}_{j+2}$）であり、局所的な空間的文脈を提供する。
• 訓練データペア $(\bar{u}^{n}_{j}, \bar{u}^{n+1}_{j})$ は、細分化されたメッシュ上で正確な解または高次精度数値解（例：不連続ガラーキン法）から生成される。
• 訓練が終了した後、ネットワークは有限体積型スキームとして実装され、解の更新がネットワークが学習した写像を用いて明示的に計算される。
• この手法は明示スキームとして実装されるが、$\Delta t = 4\Delta x$ などの大きな時間ステップでも安定に動作し、従来のCFL制約を飛び越える。

実験結果

リサーチクエスチョン

• RQ1 セル平均解ペアを用いて訓練されたニューラルネットワークは、双曲型および放物型PDEに対して安定的かつ正確な時間発展作用素を学習できるか？
• RQ2 ニューラルネットワークベースの有限体積法は、古典的な明示スキームに内在するCFL安定性制限をどの程度回避できるか？
• RQ3 訓練データに後続の相互作用ダイナミクスが含まれない場合でも、この手法は衝撃波と希薄波の融合のような複雑な波の相互作用をどの程度正確に解像できるか？
• RQ4 この手法は、数値拡散を最小限に抑えて不連続性および接触波の鋭い解像度を保持できるか？
• RQ5 学習済みネットワークは、訓練データに存在しない解状態、例えば衝撃波相互作用後の構造に対しても一般化可能か？

主な発見

• CANN手法は熱方程式に対して1次収束を達成し、誤差は時間ステップサイズに依存せず、空間メッシュサイズにのみ依存する。
• 接触不連続性をほぼゼロの数値拡散で捉え、鋭い解像度を維持する。
• 非線形双曲型保存則に対しては、衝撃波および希薄波を正確に解像し、訓練データに存在しない後続の相互作用ダイナミクスも再現できる。
• ネットワークは波の相互作用に対しても良好に一般化される：$t=2$（衝撃波と希薄波の相互作用前）までしか訓練していないが、$t>2$ における融合波構造を正確にシミュレートできる。
• 解に特異性が現れてもL2誤差は約$O(10^{-3})$のままであり、セルサイズ$\Delta x \approx 0.06$のとき、ロバスト性を示す。
• この手法は大きな時間ステップ（例：$\Delta t = 4\Delta x$）でも安定に動作し、ニューラルネットワークが明示スキームに通常要求されるCFL条件を回避していることを示している。