[논문 리뷰] Random Grid Neural Processes for Parametric Partial Differential Equations

Arnaud Vadeboncoeur, Ieva Kazlauskaite외 4명|arXiv (Cornell University)|2023. 01. 26.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 공간 샘플링 격자를 랜덤 변수로 간주하여 비결정론적, 확률적이고 확장 가능한 방법을 통해 매개변수화된 PDE에 대한 불확실성 인식 학습을 가능하게 하는 물리 기반 변분 추론 프레임워크인 Random Grid Neural Processes를 소개한다. 공간 통계, 가우시안 프로세스 및 새로운 Grid-Invariant Convolutional Network(GICNet)을 융합함으로써, 비선형 포isson, 버거스 및 나비에-스토크스 방정식에 대한 정방 및 역방 문제에서 예측 정확도와 불확실성 정량화를 향상시켰으며, 노이즈가 섞인, 비균일하게 샘플링된 데이터에 대해 기존 방법보다 계산 효율성과 강인성에서 뛰어나다.

ABSTRACT

We introduce a new class of spatially stochastic physics and data informed deep latent models for parametric partial differential equations (PDEs) which operate through scalable variational neural processes. We achieve this by assigning probability measures to the spatial domain, which allows us to treat collocation grids probabilistically as random variables to be marginalised out. Adapting this spatial statistics view, we solve forward and inverse problems for parametric PDEs in a way that leads to the construction of Gaussian process models of solution fields. The implementation of these random grids poses a unique set of challenges for inverse physics informed deep learning frameworks and we propose a new architecture called Grid Invariant Convolutional Networks (GICNets) to overcome these challenges. We further show how to incorporate noisy data in a principled manner into our physics informed model to improve predictions for problems where data may be available but whose measurement location does not coincide with any fixed mesh or grid. The proposed method is tested on a nonlinear Poisson problem, Burgers equation, and Navier-Stokes equations, and we provide extensive numerical comparisons. We demonstrate significant computational advantages over current physics informed neural learning methods for parametric PDEs while improving the predictive capabilities and flexibility of these models.

연구 동기 및 목표

• 결정론적이고 확장 가능한 프레임워크를 개발하여 매개변수화된 PDE의 정방 및 역방 문제를 해결함과 동시에 샘플링 격자 내의 불확실성을 고려한다.
• 고정 격자 기반 딥러닝 모델의 한계를 극복하기 위해 공간 격자를 랜덤 변수로 간주하고 변분 추론을 통해 이를 무시함으로써 학습한다.
• 임의의 측정 위치에서 얻은 노이즈가 섞이고 비균일하게 샘플링된 데이터를 물리 기반 학습에 원칙적으로 통합할 수 있도록 한다.
• 강건한 예측 성능과 함께 계산 효율성을 향상시키면서도 강력한 불확실성 정량화를 유지하는 매개변수화된 PDE 학습을 개선한다.
• 공간 통계와 가우시안 프로세스 모델링을 통합함으로써 딥러닝을 PDE에 적용할 때 기존의 결정론적이고 격자에 종속된 아키텍처를 초월한다.

제안 방법

• 공간 영역에 확률 측도를 할당하여 샘플링 격자를 랜덤 변수로 간주하고, 학습 중에 변분 추론을 통해 이를 무시한다.
• 물리 기반의 변분 추론 프레임워크를 활용하여 무작위 도메인 분할을 조건으로 하여 물리적 매개변수와 해 필드 간의 공동 매핑을 학습한다.
• 해 필드를 나타내는 가우시안 랜덤 필드를 모델링하기 위해 새로운 종류의 커널을 도입하여 불확실성 인식 예측을 가능하게 한다.
• 랜덤으로 샘플링된 샘플링 격자 간에 동치성과 강인성을 확보할 수 있는 Grid-Invariant Convolutional Network(GICNet) 아키텍처를 제안한다.
• 고정 격자가 아닌 임의의 격자에서 온 노이즈가 섞인 관측치를 랜덤 격자 프레임워크와 일치하는 확률적 관측 모델을 사용하여 통합한다.
• 물리 기반 잔차와 관측 데이터의 가능도에 대한 변분 하한을 조합한 미분 가능한 손실 함수를 사용하여 프레임워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 PDE에 대한 딥러닝에서 샘플링 격자를 무작위화하면 불확실성 정량화와 노이즈가 섞인, 비균일하게 샘플링된 데이터에 대한 강인성 향상에 기여할 수 있는가?
• RQ2 공간 격자를 랜덤 변수로 간주하면서도 PDE 해의 물리적 일관성을 유지할 수 있는 변분 추론 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 GICNet과 같은 격자 불변 신경망 아키텍처는 기존의 표준 딥러닝 모델 대비 매개변수화된 PDE 학습에서 일반화 능력과 계산 효율성에 얼마나 기여하는가?
• RQ4 복잡한 PDE에서 DeepONets, PINNs, PDDLVM와 같은 기존의 물리 기반 모델과 비교해 본 결과, 제안된 방법은 정확도와 불확실성 캘리브레이션 측면에서 어떤가?
• RQ5 확률적 모델링을 통해 매개변수의 모호성을 포착함으로써 이질적인 역방 문제를 효과적으로 다룰 수 있는가?

주요 결과

• 제안된 방법은 매개변수화된 PDE에 대한 기존의 물리 기반 딥러닝 방법에 비해 뚜렷한 계산적 이점(특히 훈련 및 추론 속도 측면에서)을 확보하였다.
• 비선형 포isson 문제, 버거스 방정식, 나비에-스토크스 리드드 캐비티 플로우에서 모델이 향상된 예측 성능과 불확실성 정량화를 보였다.
• 임의의 격자에서 온 노이즈가 섞이고 흐린 관측치를 통합함으로써 고정 메쉬와 일치하지 않는 경우에도 결정론적 기준선 대비 더 강인한 예측을 가능하게 하였다.
• 불확실성 추정치는 모델의 자신감을 반영하며, 이는 블랙박스 딥러닝 응용 분야에서 예측 신뢰도 평가에 매우 중요하다.
• 확률적 모델링을 통해 매개변수의 모호성을 포착함으로써 이질적인 역방 문제를 성공적으로 다룰 수 있었으며, 이는 결정론적 접근에서 결여된 능력이다.
• 실험 결과, PDDLVM, 수정된 DeepONets, 푸리에 특징 네트워크와 같은 최첨단 모델과 경쟁 가능한 정확도와 불확실성 캘리브레이션 성능을 보였다.