[論文レビュー] A Physics Informed Neural Network for Time-Dependent Nonlinear and Higher Order Partial Differential Equations

Revanth Mattey, Susanta Ghosh|arXiv (Cornell University)|Jun 4, 2021

Model Reduction and Neural Networks参考文献 31被引用数 11

ひとこと要約

本稿では、時間に依存する非線形および高階PDEに対して、以前の時間セグメントからの解を保持しながら、逐次的な時間セグメントで1つのニューラルネットワークを再訓練することにより、精度を向上させる後向き互換性のある物理学情報付きニューラルネットワーク（bc-PINN）を提案する。この手法は、特にアレン＝カーン方程式やカーン＝ヒリャード方程式のような困難な方程式において、標準PINNに比べてはるかに高い精度を達成し、さらに位相空間の再定式化と対数残差損失を用いることで性能が向上する。

ABSTRACT

A physics informed neural network (PINN) incorporates the physics of a system by satisfying its boundary value problem through a neural network's loss function. The PINN approach has shown great success in approximating the map between the solution of a partial differential equation (PDE) and its spatio-temporal input. However, for strongly non-linear and higher order partial differential equations PINN's accuracy reduces significantly. To resolve this problem, we propose a novel PINN scheme that solves the PDE sequentially over successive time segments using a single neural network. The key idea is to re-train the same neural network for solving the PDE over successive time segments while satisfying the already obtained solution for all previous time segments. Thus it is named as backward compatible PINN (bc-PINN). To illustrate the advantages of bc-PINN, we have used the Cahn Hilliard and Allen Cahn equations, which are widely used to describe phase separation and reaction diffusion systems. Our results show significant improvement in accuracy over the PINN method while using a smaller number of collocation points. Additionally, we have shown that using the phase space technique for a higher order PDE could further improve the accuracy and efficiency of the bc-PINN scheme.

研究の動機と目的

• 強力な非線形性および高階PDEを解く際、標準PINNの精度が低下する問題に対処すること。
• 再訓練を再スタートから行わずに、時間セグメント間で解の連続性を保つ、スケーラブルな単一ネットワーク手法を開発すること。
• アレン＝カーン方程式やカーン＝ヒリャード方程式のような複雑なPDEに対して、解の精度と効率を向上させること。
• 位相空間定式化と対数残差損失がbc-PINNの性能に与える影響を調査すること。
• 時間セグメント化とコロケーション点数の最適なハイパーパrameter選択を通じて、計算コストと精度のバランスをとること。

提案手法

• bc-PINN手法は、1つのニューラルネットワークを用いて時間セグメントごとにPDEを逐次的に解き、各セグメントで再訓練を行う。この際、過去の時間セグメントからの解を再訓練段階で損失関数に制約として組み込むことで、後向き互換性を確保する。
• 再訓練段階で、過去の時間セグメントからの解を損失関数に制約として含めることで、後向き互換性を強制する。
• PDEに必要な空間的および時間的微分は、自動微分を用いて計算する。
• 位相空間手法を用いて、高階PDE（例：カーン＝ヒリャード方程式）を1階微分方程式系に再定式化し、数値的安定性と計算効率を向上させる。
• 大きな残差値の影響を軽減するために、対数残差損失を導入し、収束性と精度を向上させる。
• 最適化にはADAMを用い、その後LBFGSを適用し、各時間セグメントごとに学習率と停止基準を調整する。

実験結果

リサーチクエスチョン

• RQ1 非線形的および高階PDEに対して、解の精度を維持しつつ、連続した時間セグメントで1つのニューラルネットワークを効果的に再訓練できるか。
• RQ2 アレン＝カーン方程式やカーン＝ヒリャード方程式のような剛性のあるPDEに対して、bc-PINNの後向き互換性が標準PINNに比べて精度をどのように向上させるか。
• RQ3 位相空間定式化がbc-PINNにおける計算コストをどれほど低減させ、解の精度を向上させるか。
• RQ4 bc-PINNに対数残差損失を適用することで、標準MSE損失に比べて収束性が向上し、誤差が低減するか。
• RQ5 時間セグメントサイズ、コロケーション点数、反復回数の最適なハイパーパrameter設定は、bc-PINNの精度と計算コストのバランスをどのようにとるか。

主な発見

• アレン＝カーン方程式において、bc-PINNはt=0.25で相対誤差を0.03にまで低下させたのに対し、標準PINNでは0.9919にとどまり、精度が97%向上した。
• 対数残差損失を用いたbc-PINNは相対誤差0.03を達成し、標準bc-PINN（0.0701）を上回り、大きな残差値に対するロバスト性が向上した。
• カーン＝ヒリャード方程式に対して位相空間定式化を適用することで、微分計算の時間が著しく短縮され、解の精度が向上した。
• カーン＝ヒリャード方程式の最適ハイパーパramータは、1セグメントあたり10の時間ステップ、5000個のコロケーション点、10,000回のADAM反復であった。これは、精度と計算コストのバランスをとるのに適していた。
• bc-PINN手法は、時間セグメント間で解およびその微分の連続性を維持しており、物理的整合性を保証している。
• 時間セグメント化を行っても、bc-PINNは1つのニューラルネットワークのみを用いるため、複数ネットワークやマルチステージアーキテクチャの複雑さを回避している。