[논문 리뷰] Neural Stochastic PDEs: Resolution-Invariant Learning of Continuous Spatiotemporal Dynamics

Cristopher Salvi, Maud Lemercier외 1명|arXiv (Cornell University)|2021. 10. 19.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 초기 조건과 확률적 노이즈 실현값을 모두 모델링함으로써, 해상도에 영향을 받지 않는 방식으로 확률적 편미분방정식(SPDE)의 해 연산자 학습을 수행하는 새로운 신경망 아키텍처인 신경 스토하스틱 PDE(NSPDE)를 제안한다. SPDE의 미약한 해 이론을 활용하고 스펙트럼 도메인에서 작동함으로써, NSPDE는 ODE 솔버나 고정점 반복을 통해 효율적인 평가가 가능하며, 기존 솔버 대비 최대 1,000배 빠른 추론 속도를 기록하면서도 더 높은 정확도를 달성하고 데이터 요구량도 감소시킨다.

ABSTRACT

Stochastic partial differential equations (SPDEs) are the mathematical tool of choice for modelling spatiotemporal PDE-dynamics under the influence of randomness. Based on the notion of mild solution of an SPDE, we introduce a novel neural architecture to learn solution operators of PDEs with (possibly stochastic) forcing from partially observed data. The proposed Neural SPDE model provides an extension to two popular classes of physics-inspired architectures. On the one hand, it extends Neural CDEs and variants -- continuous-time analogues of RNNs -- in that it is capable of processing incoming sequential information arriving at arbitrary spatial resolutions. On the other hand, it extends Neural Operators -- generalizations of neural networks to model mappings between spaces of functions -- in that it can parameterize solution operators of SPDEs depending simultaneously on the initial condition and a realization of the driving noise. By performing operations in the spectral domain, we show how a Neural SPDE can be evaluated in two ways, either by calling an ODE solver (emulating a spectral Galerkin scheme), or by solving a fixed point problem. Experiments on various semilinear SPDEs, including the stochastic Navier-Stokes equations, demonstrate how the Neural SPDE model is capable of learning complex spatiotemporal dynamics in a resolution-invariant way, with better accuracy and lighter training data requirements compared to alternative models, and up to 3 orders of magnitude faster than traditional solvers.

연구 동기 및 목표

• 부분적으로 관측된 데이터로부터 SPDE의 해 연산자를 학습하는 신경망 아키텍처를 개발하여, 공간적 및 시간적 해상도에 관계없이 불변성을 확보한다.
• 신경 CDE와 신경 연산자(Neural Operators)를 확장하여, 확률적 외부력이 작용하는 시공간 필드에 대해 연속적이고 해상도에 관계없는 처리를 가능하게 한다.
• 스펙트럼 방법과 미약한 해 이론을 활용하여, 비선형 상호작용이 복잡한 SPDE를 기반으로 하는 기울기 가능하고 확장 가능한 프레임워크를 제공한다.
• 기존의 딥러닝 모델과 전통적 수치 솔버에 비해 데이터 및 계산 자원 소모를 줄인다.

제안 방법

• 모델은 SPDE의 미약한 해 표현식에 기반하여, 효율적인 계산을 위해 스펙트럼 방법을 활용할 수 있도록 한다.
• 해 연산자를 스펙트럼 도메인에서 정의된 신경망을 통해 초기 조건과 노이즈 실현값에서 해 필드로의 사상으로 모델링한다.
• 모델은 두 가지 평가 모드를 지원한다: 스펙트럼 도메인에서 ODE를 푸는 방식(스펙트럼 갈레르킨 방법을 모방) 또는 고정점 문제를 푸는 방식.
• 반복 수를 하이퍼파라미터로 제어하는 피카르 반복 기법을 도입하여, 반선형 SPDE의 비선형성을 처리한다.
• 공간 필드의 스펙트럼 표현을 활용하여, 푸리에 모드에서의 연산을 통해 해상도에 관계없는 추론이 가능하도록 한다.
• 관측된 해 궤적에 대해 경로 기반 손실 함수를 사용하여 표준 확률적 경사하강법으로 학습한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 공간적 및 시간적 해상도에 관계없이 불변하는 방식으로 SPDE의 해 연산자를 학습할 수 있는가?
• RQ2 제안된 NSPDE 모델이 FNO 및 신경 CDE와 같은 기존 모델에 비해 SPDE에서 정확도와 효율성 면에서 어떻게 성능을 냈는가?
• RQ3 초기 조건과 노이즈 실현값을 모두 통합함으로써 예측 성능 향상에 얼마나 기여하는가?
• RQ4 스펙트럼 도메인 표현 방식이 기존 수치적 솔버에 비해 더 빠른 추론과 더 낮은 데이터 요구량을 가능하게 하는가?
• RQ5 피카르 반복 횟수는 SPDE에서 비선형 역학을 포착하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 다양한 노이즈가 작용하는 기니부르크-랜드อ우 방정식에서 T=0.05일 때 NSPDE는 상대 L2 오차 0.016을 기록하여 FNO(0.040)와 NSPDE with P=1(0.023)를 모두 능가했다.
• 스토하스틱 나비에-스톡스 방정식에서 P=4일 때 상대 L2 오차를 0.040으로 줄여, P=1 및 FNO에 비해 일관된 성능 향상을 보였다.
• 스토하스틱 파동 방정식에서 ξ→u 맵핑에 대해 NSPDE는 테스트 오차 0.023을 기록하여 FNO(0.026)와 NCDE-FNO(0.029)를 모두 앞섰다.
• 정적 나비에-스톡스 PDE에서 NSPDE는 상대 L2 오차 0.17로 FNO와 동일한 성능을 보였으며, 이는 스토하스틱 환경 외에도 적용 가능함을 시사한다.
• 모든 테스트 문제에서 높은 정확도를 유지하면서도 기존 솔버 대비 최대 3개 지수의 속도 향상을 달성했다.
• 피카르 반복을 통한 성능 향상은 장시간 주기에서 두드러지게 나타났으며, 오차는 P=1에서 P=4로 증가함에 따라 감소했고, 특히 T=0.25일 때 오차가 0.079에서 0.072로 감소했다.