[論文レビュー] Neural Stochastic PDEs: Resolution-Invariant Learning of Continuous Spatiotemporal Dynamics

Cristopher Salvi, Maud Lemercier+1 more|arXiv (Cornell University)|Oct 19, 2021

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、初期条件と確率的ノイズ実現を両方モデル化することで、解の作用素を解像度に依存しない方法で学習する、ニューラル確率的偏微分方程式（NSPDE）という新しいニューラルアーキテクチャを提案する。スペクトル領域で動作させ、SPDEの弱解理論を活用することで、ODEソルバーや固定点反復を用いた効率的な評価が可能となり、従来のソルバーと比較して最大1,000倍高速かつ高い精度を達成するとともに、データ要件も低減される。

ABSTRACT

Stochastic partial differential equations (SPDEs) are the mathematical tool of choice for modelling spatiotemporal PDE-dynamics under the influence of randomness. Based on the notion of mild solution of an SPDE, we introduce a novel neural architecture to learn solution operators of PDEs with (possibly stochastic) forcing from partially observed data. The proposed Neural SPDE model provides an extension to two popular classes of physics-inspired architectures. On the one hand, it extends Neural CDEs and variants -- continuous-time analogues of RNNs -- in that it is capable of processing incoming sequential information arriving at arbitrary spatial resolutions. On the other hand, it extends Neural Operators -- generalizations of neural networks to model mappings between spaces of functions -- in that it can parameterize solution operators of SPDEs depending simultaneously on the initial condition and a realization of the driving noise. By performing operations in the spectral domain, we show how a Neural SPDE can be evaluated in two ways, either by calling an ODE solver (emulating a spectral Galerkin scheme), or by solving a fixed point problem. Experiments on various semilinear SPDEs, including the stochastic Navier-Stokes equations, demonstrate how the Neural SPDE model is capable of learning complex spatiotemporal dynamics in a resolution-invariant way, with better accuracy and lighter training data requirements compared to alternative models, and up to 3 orders of magnitude faster than traditional solvers.

研究の動機と目的

• 部分的に観測されたデータからSPDEの解作用素を学習するニューラルアーキテクチャを開発し、空間的・時間的解像度に対して不変であるようにすること。
• ニューラルCDEとニューラル作用素を拡張し、確率的駆動を持つ時空間場を連続的かつ解像度に依存しない方法で処理できるようにすること。
• スペクトル法と弱解理論を用いて、SPDE内での複雑な非線形相互作用を微分可能かつスケーラブルなフレームワークでモデル化するためのもの。
• 古典的ソルバーや既存のSPDE用深層学習モデルと比較して、データおよび計算コストを低減すること。

提案手法

• モデルはSPDEの弱解表現に基づいており、計算を効率化するためにスペクトル法を活用できる。
• 初期条件とノイズ実現を入力として、解場への写像をスペクトル領域におけるニューラルネットワークでパラメータ化する。
• 評価モードを2つサポートする：スペクトル領域でのODEを解く（スペクトルガラーキン法を模倣）か、固定点問題を解くか。
• 半線形SPDEにおける非線形性に対処するため、ピカード反復スキームを統合し、反復回数をハイパーパrameterとして制御する。
• 空間場のスペクトル表現を活用することで、フーリエモード上で処理することにより、解像度に依存しない推論が可能になる。
• 観測された解軌道上でパスワイズ損失関数を用いた標準的な確率的勾配降下法により学習を行う。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャは、空間的・時間的解像度に依存しない方法でSPDEの解作用素を学習できるか？
• RQ2 提案されたNSPDEモデルは、FNO やニューラルCDE と比較して、確率的偏微分方程式における精度と効率においてどのように差をつけるか？
• RQ3 初期条件とノイズ実現の両方を組み込むことで、SPDE学習における予測性能がどの程度向上するか？
• RQ4 スペクトル領域での定式化は、従来の数値ソルバーと比較して、より高速な推論と低コストのデータ要件を実現できるか？
• RQ5 ピカード反復回数は、SPDE内での非線形ダイナミクスを捉える能力にどのように影響するか？

主な発見

• 乗法的ノイズを伴うギンツブルグ＝ランダウ方程式において、T=0.05の時点でNSPDEは相対L2誤差0.016を達成し、FNO（0.040）およびP=1のNSPDE（0.023）を上回った。
• 確率的ナビエ＝ストークス方程式では、P=4でT=0.25の時点で相対L2誤差を0.040に低減し、P=1およびFNOと比較して一貫した改善を示した。
• 確率的波動方程式のξ→uマッピングにおいて、NSPDEはテスト誤差0.023を達成し、FNO（0.026）およびNCDE-FNO（0.029）を上回った。
• 決定的ナビエ＝ストークスPDEでは、NSPDEは相対L2誤差0.17でFNOと同等の性能を示し、確率的設定に限らない適用可能性を示した。
• すべてのテスト問題において、従来のソルバーと比較して最大3桁の高速化を達成しながら、高い精度を維持した。
• ピカード反復の導入により、長期的な時間スケールでも性能が向上し、特にT=0.25において誤差がP=1の0.079からP=4の0.072に低下した。