[論文レビュー] Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs

Peiyan Hu, Meng Qi+7 more|arXiv (Cornell University)|Apr 13, 2022

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、正則性構造理論を統合した深層学習フレームワーク、Neural Operator with Regularity Structure (NORS) を提案する。このフレームワークは、低正則性のノイズを伴う確率的偏微分方程式（SPDE）の解をモデル化することを目的としている。初期条件とノイズを正則性構造から導かれる特徴ベクトルに投影することで、NORS はベースラインと比較して1桁の誤差低減を達成しながら、解像度に依存しない性能を維持し、サンプル複雑度も低減している。

ABSTRACT

Stochastic partial differential equations (SPDEs) are significant tools for modeling dynamics in many areas including atmospheric sciences and physics. Neural Operators, generations of neural networks with capability of learning maps between infinite-dimensional spaces, are strong tools for solving parametric PDEs. However, they lack the ability to modeling SPDEs which usually have poor regularity due to the driving noise. As the theory of regularity structure has achieved great successes in analyzing SPDEs and provides the concept model feature vectors that well-approximate SPDEs' solutions, we propose the Neural Operator with Regularity Structure (NORS) which incorporates the feature vectors for modeling dynamics driven by SPDEs. We conduct experiments on various of SPDEs including the dynamic Phi41 model and the 2d stochastic Navier-Stokes equation, and the results demonstrate that the NORS is resolution-invariant, efficient, and achieves one order of magnitude lower error with a modest amount of data.

研究の動機と目的

• 空間時空白ノイズを含むノイズの影響により正則性が著しく劣化するSPDEに起因するダイナミクスをモデル化する課題に対処すること。
• 従来のニューラルオペレータ手法が高正則性を仮定しているのに対し、不規則な解を有するSPDEを扱えるように拡張すること。
• 特徴工学を用いて、SPDEの構造的知識（具体的には線形微分作用素とノイズの特性）をモデルに組み込むこと。
• 正則性に基づく特徴ベクトルを用いてSPDEの内在的構造を符号化することで、サンプル複雑度を低減し、一般化性能を向上させること。
• 科学的計算応用に求められる空間的・時間的解像度の異なるスケールでも正確な予測が可能な、解像度に依存しない性能を達成すること。

提案手法

• NORS は、正則性構造理論から導かれる基底に初期条件および空間時空白ノイズを射影することで、モデルの特徴ベクトルを構築し、入力表現の正則性を向上させる。
• 正則性構造理論におけるSchauder推定を活用することで、特徴ベクトルが滑らかでなり、ニューラルオペレータによる学習に適した形になることを保証する。
• これらの正則性構造特徴をニューラルオペレータアーキテクチャに統合し、標準的なニューラルオペレータが持つメッシュ不変性および関数空間写像能力を維持する。
• 線形作用素（例：ラプラシアン）とその関連する半群が既知であると仮定し、SPDEのカーネルとノイズ構造から明示的に特徴基底を構築できる。
• モデルは、初期条件とノイズ実現値から解軌道への写像を学習する。この際、特徴ベクトルがSPDEの微分的および確率的成分を符号化する。
• アーキテクチャは、フーリエニューラルオペレータ（FNO）が持つ解像度不変性の性質を継承しており、さまざまなグリッド解像度で正確な予測が可能である。

実験結果

リサーチクエスチョン

• RQ1 標準的なニューラルオペレータが失敗する、空間時空白ノイズを伴う低正則性ノイズを有するSPDEの解写像を、深層学習モデルが効果的に学習できるか。
• RQ2 SPDEの構造的知識（具体的には線形作用素とノイズの種別）を、特徴工学を用いてニューラルネットワークに組み込む方法は何か。これにより、サンプル効率と一般化性能が向上するか。
• RQ3 正則性構造理論をニューラルオペレータに組み込むことで、SPDEの解学習における一般化誤差はどの程度低減されるか。
• RQ4 科学的計算応用に求められるように、本手法は異なる空間的・時間的解像度でも正確な性能を維持するか。
• RQ5 限られた訓練データのもとで、未知のノイズ実現値や初期条件の再現にモデルは一般化できるか。

主な発見

• 2次元確率的ナビエ＝ストークス方程式において、NORS はベースラインと比較して $L^2$ 誤差を1桁低減し、誤差を約0.03から約0.002にまで低下させた。
• θ \mapsto ω および (ω₀, ξ) \mapsto ω の設定において、1000件の訓練サンプルを用いて、NORS はベースラインと比較して誤差を10分の1にまで低減した。
• 16 × 16グリッドで訓練した後、64 × 64グリッドでテストした際も高い精度を維持しており、解像度不変性が確認された。
• 正則性に基づく特徴を用いることで、SPDEの構造的情報を組み込むことで、NORS はサンプル効率が向上し、少ないデータで高い精度を達成できるようになった。
• 未知のノイズおよび初期条件の実現値に対しても、モデルは一般化を示しており、訓練分布を超えた強力な一般化能力を有していることが示された。
• 正則性構造から導かれる特徴ベクトルは、特に空間時空白ノイズが存在する際のSPDEの不規則なダイナミクスを捉える能力を顕著に向上させた。