[논문 리뷰] Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs

Peiyan Hu, Meng Qi외 7명|arXiv (Cornell University)|2022. 04. 13.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 정규성 구조 이론을 통합하여 저규칙성 노이즈가 있는 확률적 편미분방정식(SPDEs)의 해를 모델링하는 딥러닝 프레임워크인 Neural Operator with Regularity Structure(NORS)을 제안한다. 초기 조건과 노이즈를 정규성 구조에서 유도된 특징 벡터로 투영함으로써, NORS는 기존 베이스라인 대비 오차를 한 수준 낮추면서도 해상도에 영향을 받지 않는 성능과 낮은 샘플 복잡도를 유지한다.

ABSTRACT

Stochastic partial differential equations (SPDEs) are significant tools for modeling dynamics in many areas including atmospheric sciences and physics. Neural Operators, generations of neural networks with capability of learning maps between infinite-dimensional spaces, are strong tools for solving parametric PDEs. However, they lack the ability to modeling SPDEs which usually have poor regularity due to the driving noise. As the theory of regularity structure has achieved great successes in analyzing SPDEs and provides the concept model feature vectors that well-approximate SPDEs' solutions, we propose the Neural Operator with Regularity Structure (NORS) which incorporates the feature vectors for modeling dynamics driven by SPDEs. We conduct experiments on various of SPDEs including the dynamic Phi41 model and the 2d stochastic Navier-Stokes equation, and the results demonstrate that the NORS is resolution-invariant, efficient, and achieves one order of magnitude lower error with a modest amount of data.

연구 동기 및 목표

• 스토케스틱 노이즈, 특히 시공간 백색노이즈로 인해 낮은 정규성을 보이는 동역학을 모델링하는 데 도전하는 것.
• 기존 신경 연산자 방법은 높은 정규성을 가정하지만, 불규칙한 해를 갖는 SPDEs를 다룰 수 있도록 이를 확장하는 것.
• 특히 선형 미분 연산자와 노이즈 특성과 같은 SPDE의 사전 지식을 특징 공학을 통해 모델에 통합하는 것.
• 정규성 기반 특징 벡터를 통한 SPDE의 내재적 구조를 인코딩하여 샘플 복잡도를 감소시키고 일반화 성능을 향상시키는 것.
• 과학 계산 응용 분야에서 요구되는 다양한 공간적·시간적 해상도에서 정확한 예측을 가능하게 하는 해상도에 영향을 받지 않는 성능을 달성하는 것.

제안 방법

• NORS는 정규성 구조 이론에서 유도된 기저에 대해 초기 조건과 시공간 백색노이즈를 투영하여 모델 특징 벡터를 구성함으로써 입력 표현의 정규성을 향상시킨다.
• 정규성 구조 이론의 샤펄드 추정을 활용하여 특징 벡터가 더 매끄럽고 신경 연산자가 학습하기에 적합하도록 보장한다.
• 이러한 정규성 기반 특징을 신경 연산자 아키텍처에 통합함으로써 표준 신경 연산자와 동일한 메쉬 불변성 및 함수 공간 맵핑 능력을 유지한다.
• 선형 연산자(예: 라플라시안)와 그 관련 준군이 알려져 있다고 가정하여, SPDE의 커널과 노이즈 구조에서 직접 특징 기저를 구성할 수 있다.
• 모델은 초기 조건과 노이즈 실현값에서 해 궤적까지의 매핑을 학습하며, 특징 벡터는 SPDE의 미분 및 확률적 성분을 인코딩한다.
• 아키텍처는 푸리에 신경 연산자(FNO)의 해상도에 영향을 받지 않는 성질을 이어받아 다양한 격자 해상도에서 정확한 예측이 가능하다.

실험 결과

연구 질문

• RQ1 표준 신경 연산자가 실패하는 저규칙성 노이즈(예: 시공간 백색노이즈)를 갖는 SPDE의 해 매핑을 효과적으로 학습할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 SPDE의 사전 구조 지식(특히 선형 연산자와 노이즈 유형)을 어떻게 신경망에 통합하여 샘플 효율성과 일반화 성능을 향상시킬 수 있는가?
• RQ3 정규성 구조 이론을 신경 연산자에 통합함으로써 SPDE 해 학습 시 일반화 오차는 어느 정도 감소하는가?
• RQ4 과학 계산 응용 분야에서 요구되는 다양한 공간적·시간적 해상도에서 정확도를 유지하는가?
• RQ5 제한된 훈련 데이터로도 새로운 노이즈 및 초기 조건 실현값에 일반화할 수 있는가?

주요 결과

• NORS는 2D 스토크스틱 나비에-스토크스 방정식에서 기존 베이스라인 대비 $L^2$ 오차를 한 수준 낮추어 약 0.03에서 약 0.002로 감소시켰다.
• θ → ω 및 (ω₀, ξ) → ω 설정에서, NORS는 1000개의 훈련 샘플을 사용할 때 기존 베이스라인 대비 오차를 10배 감소시켰다.
• 16×16 격자에서 훈련한 후 64×64 격자에서 테스트했을 때도 높은 정확도를 유지하여 해상도에 영향을 받지 않는 성질을 확인했다.
• 정규성 기반 특징를 통한 SPDE의 구조적 정보 통합으로 샘플 효율성이 향상되어 낮은 데이터로도 높은 정확도를 달성했다.
• 예상치 못한 노이즈 및 초기 조건 실현값에 대해서도 일반화 성능이 뛰어나 훈련 분포를 초월한 강력한 일반화 능력을 보였다.
• 정규성 구조에서 유도된 특징 벡터는 특히 시공간 백색노이즈가 존재할 경우 SPDE의 불규칙한 동역학을 포착하는 데 모델의 능력을 크게 향상시켰다.