[論文レビュー] SGNO: Spectral Generator Neural Operators for Stable Long Horizon PDE Rollouts

Jiayi Li, Zhaonan Wang+1 more|arXiv (Cornell University)|Feb 21, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

SGNO は非正の実部を持つ生成器とゲート付き forcing を備えたスペクトル・指数積分子ニューラルオペレータを導入し、長期ホライズンの PDE ロ rollout を安定化。7つの APEBench タスクで最先端の rollout 精度を達成。

ABSTRACT

Neural operators provide fast PDE surrogates and often generalize across parameters and resolutions. However, in the short train long test setting, autoregressive rollouts can become unstable. This typically happens for two reasons: one step errors accumulate over time, and high frequency components feed back and grow. We introduce the Spectral Generator Neural Operator (SGNO), a residual time stepper that targets both effects. For the linear part, SGNO uses an exponential time differencing update in Fourier space with a learned diagonal generator. We constrain the real part of this generator to be nonpositive, so iterating the step does not amplify the linear dynamics. For nonlinear dynamics, SGNO adds a gated forcing term with channel mixing within each Fourier mode, which keeps the nonlinear update controlled. To further limit high frequency feedback, SGNO applies spectral truncation and an optional smooth mask on the forcing pathway. We derive a one step amplification bound and a finite horizon rollout error bound. The bound separates generator approximation error from nonlinear mismatch and gives sufficient conditions under which the latent $L^2$ norm does not grow across rollout steps. On APEBench spanning 1D, 2D, and 3D PDE families, SGNO achieves lower long horizon error and longer stable rollout lengths than strong neural operator baselines. Ablations confirm the roles of the generator constraint, gating, and filtering.The code is available at https://github.com/lijy32123-cloud/SGNO.

研究の動機と目的

• 短い学習データで時間依存型 PDE の surrogate 予測を長期安定化させる動機づけ。
• 線形増幅と高周波フィードバックを明示的に制御するニューラルオペレータの開発。
• 安定性保証と実用的な切り捨て/マスキングを備えたスペクトル ETD ベースの時間積分器の提案。
• APEBench における線形・非線形・反応拓散 PDE に対する SGNO の強力なベースライン比較を経験的に評価。

提案手法

• 潜在空間での半線形 PDE ダイナミクスをスペクトル ETD テンポラルブロックでモデル化。
• 実部が非正となる学習済み対角生成器を Fourier 空間で用い、繰り返しステップの安定化を図る。
• Fourier モード全体でゲーティングとチャネル混合を伴う phi_1 重み付き forcing 領域を介して非線形効果を注入。
• 高周波の feedback を抑制するために forcing 経路にスペクトル切り捨てと任意の滑らかなマスクを適用。
• アーキテクチャと安定性を関連づける一歩分の増幅境界と有限ホライズンの rollout 誤差再帰を提供。
• 教師付き one-step forcing での学習と、一定解像度・時間ステップでの長期 rollout の評価。

Figure 1 : (a) Overall architecture of SGNO. The input state is lifted to a latent feature space, propagated through stacked time advance blocks, and projected back to obtain the next state. (b) Time advance block. Features are propagated by a stabilized spectral ETD operator in the Fourier domain,

実験結果

リサーチクエスチョン

• RQ1 スペクトル的に安定化した ETD 更新を持つニューラルオペレータは、さまざまな PDE ダイナミクスに対して安定した長期 rollout を達成できるか。
• RQ2 誤差増幅および高周波フィードバックを抑制するために必須となるアーキテクチャ要素（生成器の制約、ゲーティング、フィルタリング）はどれか。
• RQ3 スペクトル切り捨てとマスキングは、長期にわたる自己回帰型 PDE 予測の安定性と精度を実質的に改善するか。
• RQ4 SGNO の安定性境界は、線形・非線形・反応拓散 PDE における長期 rollout の実用的な性能とどのように関係するか。

主な発見

• SGNO は 7 件中 6 件のタスクで最良の GMean100 ロ rollout 指標を達成し、3D Swift–Hohenberg タスクでは準優勝。
• アブレーション実験では forcing 注入（α_g）が長期ホライズンの安定性に特に重要であり、点ごとの補正（α_w）が追加の利点を提供。
• SGNO は長期 rollout における不安定性の発生を大幅に遅らせる（例: 1D KdV で安定ステップ分布が改善）。
• スペクトル生成器の制約により反復中の線形動力学が非拡大性を保ち、1ステップあたりの増幅を低減。
• スペクトル切り捨てとマスキングオプションは高周波フィードバックを更に緩和しつつ精度を損なわない。
• SGNO は Fourier Neural Operator ベースラインと比較して、パラメータ数が同程度で、1ステップの推論オーバーヘッドも控えめ。

Figure 2 : Long-horizon stability on 1D KdV. Top: nRMSE trajectories (first 100 steps shown for readability); both baseline and SGNO show the per-step median across test trajectories with a $p10$ – $p90$ band. Bottom: empirical CDF of per-trajectory stable steps computed on full $T_{\mathrm{eval}}=2