[논문 리뷰] SGNO: Spectral Generator Neural Operators for Stable Long Horizon PDE Rollouts

Jiayi Li, Zhaonan Wang외 1명|arXiv (Cornell University)|2026. 02. 21.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

SGNO는 비양의 실수부 생성기와 게이티드 포싱을 갖춘 스펙트럴-지수적 구동 신경 연산자를 도입하여 장기 시뮬레이션의 PDE 롤아웃을 안정시키고, 일곱 개 APEBench 과제에서 최첨단 롤아웃 정확도를 달성합니다.

ABSTRACT

Neural operators provide fast PDE surrogates and often generalize across parameters and resolutions. However, in the short train long test setting, autoregressive rollouts can become unstable. This typically happens for two reasons: one step errors accumulate over time, and high frequency components feed back and grow. We introduce the Spectral Generator Neural Operator (SGNO), a residual time stepper that targets both effects. For the linear part, SGNO uses an exponential time differencing update in Fourier space with a learned diagonal generator. We constrain the real part of this generator to be nonpositive, so iterating the step does not amplify the linear dynamics. For nonlinear dynamics, SGNO adds a gated forcing term with channel mixing within each Fourier mode, which keeps the nonlinear update controlled. To further limit high frequency feedback, SGNO applies spectral truncation and an optional smooth mask on the forcing pathway. We derive a one step amplification bound and a finite horizon rollout error bound. The bound separates generator approximation error from nonlinear mismatch and gives sufficient conditions under which the latent $L^2$ norm does not grow across rollout steps. On APEBench spanning 1D, 2D, and 3D PDE families, SGNO achieves lower long horizon error and longer stable rollout lengths than strong neural operator baselines. Ablations confirm the roles of the generator constraint, gating, and filtering.The code is available at https://github.com/lijy32123-cloud/SGNO.

연구 동기 및 목표

• 짧은 학습 데이터 하에서 시간 의존 PDE 대리모형의 강건한 장기 예측을 동기화한다.
• 선형 증폭 및 고주파 피드백을 명시적으로 제어하는 신경 연산자를 개발한다.
• 안정성 보장과 실용적 잘라내기/마스킹을 갖춘 스펙트럴 ETD 기반 시간 스텝퍼를 제안한다.
• APEbench의 선형, 비선형 및 반응-확산 PDE에 대해 강력한 기준선과 비교하여 SGNO를 경험적으로 평가한다.

제안 방법

• 잠재 공간에서 스펙트럴 ETD 시간 전진 블록으로 반선형 PDE 동역학을 모델링한다.
• 반복 스텝을 안정화하기 위해 Fourier 공간의 학습된 대각 생성기를 사용한다(실수부 비양).
• Fourier 모드 전체에 걸친 게이팅 및 채널 혼합과 함께 phi_1 가중 포싱 항을 통해 비선형 효과를 주입한다.
• 고주파 피드백을 억제하기 위해 포스팅 경로에 스펙트럴 절단 및 선택적 매끄러운 마스크를 적용한다.
• 한 단계 증폭 경계와 유한-수평 롤아웃 오차 재귀식을 제공해 아키텍처와 안정성의 관계를 설명한다.
• 한 단계 교사 강제(teacher forcing)로 학습하고 고정 해상도와 시간 간격에서 장기 롤아웃을 평가한다.

Figure 1 : (a) Overall architecture of SGNO. The input state is lifted to a latent feature space, propagated through stacked time advance blocks, and projected back to obtain the next state. (b) Time advance block. Features are propagated by a stabilized spectral ETD operator in the Fourier domain,

실험 결과

연구 질문

• RQ1 스펙트럼적으로 안정화된 ETD 업데이트를 가진 신경 연산자가 다양한 PDE 다이내믹스에서 안정적인 장기 롤아웃을 달성할 수 있는가?
• RQ2 생성기 제약, 게이팅, 필터링이 오차 증폭과 고주파 피드백 억제에 필수적인 구성 요소인가?
• RQ3 스펙트럴 절단 및 마스킹이 장기 롤아웃에서 자기회귀형 PDE 예측의 안정성과 정확도를 실질적으로 개선하는가?
• RQ4 SGNO의 안정성 경계가 선형, 비선형 및 반응-확산 PDE에서의 장기 롤아웃 실전 성능과 어떤 관계가 있는가?

주요 결과

• SGNO는 7개 과제 중 6개에서 GMean100 롤아웃 지표에서 최고 성과를 보였고 3D Swift–Hohenberg 과제에서 러너업으로 확인되었다.
• 절단 제거와 비교 분석에서 포싱 주입(alpha_g)이 장기-높은 안정성에 특히 중요하며, 점진 보정(alpha_w)이 추가 이점을 제공한다.
• SGNO는 1D KdV 등에서 긴 롤아웃의 불안정성 발생을 상당히 지연시키는 것으로 나타났다.
• 스펙트럴 생성기 제약은 반복 시퀀스에서 선형 역학을 비증강적으로 유지하게 하여 매 스텝의 증폭을 감소시킨다.
• 스펙트럴 절단 및 마스킹 옵션은 고주파 피드백을 추가로 완화하면서도 정확성을 해치지 않는다.
• SGNO는 파라미터 수가 비슷하고 Fourier Neural Operator 기반 기준선에 비해 보통의 추론 오버헤드를 가진다.

Figure 2 : Long-horizon stability on 1D KdV. Top: nRMSE trajectories (first 100 steps shown for readability); both baseline and SGNO show the per-step median across test trajectories with a $p10$ – $p90$ band. Bottom: empirical CDF of per-trajectory stable steps computed on full $T_{\mathrm{eval}}=2