[論文レビュー] Learning in Modal Space: Solving Time-Dependent Stochastic PDEs Using Physics-Informed Neural Networks

Dongkun Zhang, Ling Guo+1 more|arXiv (Cornell University)|May 3, 2019

Model Reduction and Neural Networks参考文献 27被引用数 16

ひとこと要約

本稿では、時間依存確率的PDEを解くために、物理学を組み込んだニューラルネットワーク（PINNs）と動的直交（DO）および二重直交（BO）手法を統合した、NN-DO/BOと呼ばれる手法を提案する。DO/BOの制約を損失関数に暗黙的に埋め込むことで、従来のDO/BO手法が抱える可逆性や固有値の交差を避ける仮定といった主な制限を克服し、ノイズのあるデータを伴う長時間積分や逆問題の解法を可能にし、確率的バーガース方程式や反応拡散方程式を含むベンチマーク問題において高い精度を達成する。

ABSTRACT

One of the open problems in scientific computing is the long-time integration of nonlinear stochastic partial differential equations (SPDEs). We address this problem by taking advantage of recent advances in scientific machine learning and the dynamically orthogonal (DO) and bi-orthogonal (BO) methods for representing stochastic processes. Specifically, we propose two new Physics-Informed Neural Networks (PINNs) for solving time-dependent SPDEs, namely the NN-DO/BO methods, which incorporate the DO/BO constraints into the loss function with an implicit form instead of generating explicit expressions for the temporal derivatives of the DO/BO modes. Hence, the proposed methods overcome some of the drawbacks of the original DO/BO methods: we do not need the assumption that the covariance matrix of the random coefficients is invertible as in the original DO method, and we can remove the assumption of no eigenvalue crossing as in the original BO method. Moreover, the NN-DO/BO methods can be used to solve time-dependent stochastic inverse problems with the same formulation and computational complexity as for forward problems. We demonstrate the capability of the proposed methods via several numerical examples: (1) A linear stochastic advection equation with deterministic initial condition where the original DO/BO method would fail; (2) Long-time integration of the stochastic Burgers' equation with many eigenvalue crossings during the whole time evolution where the original BO method fails. (3) Nonlinear reaction diffusion equation: we consider both the forward and the inverse problem, including noisy initial data, to investigate the flexibility of the NN-DO/BO methods in handling inverse and mixed type problems. Taken together, these simulation results demonstrate that the NN-DO/BO methods can be employed to effectively quantify uncertainty propagation in a wide range of physical problems.

研究の動機と目的

• 任意の初期条件を伴う非線形確率的PDEの長時間積分の課題に対処する。
• 可逆な共分散行列の必要性や固有値の交差を避ける必要性といった、従来のDO/BO手法の制限を克服する。
• データ駆動型ニューラルネットワークを用いて、時間依存SPDEにおける効果的な不確実性評価を実現する。
• PINNsを最小限の計算コストで、確率的PDEの前向き問題と逆問題の両方を解けるように拡張する。
• 逆問題においてノイズや散在する測定データを扱う際のロバストネスを示す。

提案手法

• DO/BOの制約をPINNの損失関数に暗黙的に埋め込むことで、モードの時間発展方程式を明示的に導出することを避ける、NN-DOおよびNN-BO手法を提案する。
• 一般化された時間依存カルフーネン・ロイエット展開を用いて、解を空間モードと確率的係数の和として表現する。
• 損失関数の正則化を通じて動的直交性（NN-DO）または二重直交性（NN-BO）の制約を組み込み、分解の時間的一致性を保証する。
• 自動微分を用いて、空間時間領域全域にわたりPDEの残差とモード制約を同時に満たすようにニューラルネットワークを学習する。
• 測定データを損失関数に埋め込むことで、前向き問題と逆問題の両方で同じアーキテクチャと計算コストを用いる。
• 決定論的初期条件と高次元の確率的入力を伴う問題に、頻繁な固有値の交差を伴う場合も含めて適用する。

実験結果

リサーチクエスチョン

• RQ1 PINNsをDO/BO手法と効果的に組み合わせることで、明示的なモード時間発展方程式を必要とせずに、時間依存確率的PDEを解くことは可能か？
• RQ2 NN-DO/BOフレームワークは、従来のDO/BO手法の可逆性および固有値交差の制限を克服できるか？
• RQ3 NN-DO/BO手法は、複雑な確率的ダイナミクスを示す非線形SPDEの長時間積分において、どの程度の性能を示すか？
• RQ4 NN-DO/BO手法は、前向き問題と同一の定式化を用いて、ノイズやスパースなデータを伴う確率的逆問題を解くことができるか？
• RQ5 NN-DO/BO手法は、確率的バーガース方程式や反応拡散方程式といったベンチマーク問題において、精度と収束特性はどの程度か？

主な発見

• NN-DO/BO手法は、決定論的初期条件を伴う線形確率的移流方程式を正常に解いたが、従来のDO/BO手法は確率的初期データが不足しているために失敗する。
• 確率的バーガース方程式において、NN-BO手法は頻繁な固有値交差の下でも安定した長時間積分を達成し、元のBO手法がその条件下で失敗するのを上回る性能を示した。
• 非線形反応拡散方程式において、NN-BO手法は $t=1.0$ 時点での最初の確率的係数 $Y_1$ について、平均二乗誤差（RMSE）が 0.019 に達し、逆問題設定における高い精度を示した。
• 逆問題における推定パラメータ $a$ と $b$ は、100,000回の学習エポック以内に真の値に収束し、パラメータ同定のロバストネスを示した。
• NN-DO/BOフレームワークは、前向き問題と逆問題の両方において一貫した計算複雑性を維持し、混合型問題へのシームレスな適用を可能にした。
• 本手法は、高次元の確率的入力やノイズのある初期データを含む複数のテストケースにおいて、効果的な不確実性評価を実現し、精度の低下が最小限に抑えられた。