[논문 리뷰] Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs

Emilia Magnani, Nicholas Krämer외 3명|arXiv (Cornell University)|2022. 08. 02.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 매개변수형 편미분방정식(PDE)를 해결하는 딥러닝 모델에 대한 불확실성 정량화를 제공하는 Approximate Bayesian Neural Operators를 소개한다. 선형 케이스의 경우 가우시안 프로세스 이론을, 딥 케이스의 경우 라플라스 근사법을 조합함으로써, 높은 데이터 및 낮은 데이터 환경에서도 예측 오차가 높은 영역을 식별할 수 있는 구조적이고 국소적인 불확실성 추정이 가능해진다.

ABSTRACT

Neural operators are a type of deep architecture that learns to solve (i.e. learns the nonlinear solution operator of) partial differential equations (PDEs). The current state of the art for these models does not provide explicit uncertainty quantification. This is arguably even more of a problem for this kind of tasks than elsewhere in machine learning, because the dynamical systems typically described by PDEs often exhibit subtle, multiscale structure that makes errors hard to spot by humans. In this work, we first provide a mathematically detailed Bayesian formulation of the ''shallow'' (linear) version of neural operators in the formalism of Gaussian processes. We then extend this analytic treatment to general deep neural operators using approximate methods from Bayesian deep learning. We extend previous results on neural operators by providing them with uncertainty quantification. As a result, our approach is able to identify cases, and provide structured uncertainty estimates, where the neural operator fails to predict well.

연구 동기 및 목표

• 안전이 중요한 분야 및 과학적 응용에서 PDE 해법 모델의 불확실성 정량화 부족 문제를 해결한다.
• 예측 신뢰도 평가 및 고장 모드 탐지 기능을 갖춘, 이론적으로 탄탄한 베이지안 프레임워크를 신경연산자에 개발한다.
• 해석적 베이지안 처리를 선형(얕은) 케이스에서 딥 신경연산자로 확장하기 위해 근사 추론을 활용한다.
• 사전 학습된 모델에 후행적으로 적용하는 라플라스 근사법을 통해 낮은 계산 오버헤드로 실용적인 불확실성 추정을 가능하게 한다.
• 불확실성 추정이 전역적이고 국소적인 예측 오차를 모두 탐지할 수 있음을 입증한다. 특히 모델 아티팩트나 일반화 능력이 떨어지는 영역에서 효과적이다.

제안 방법

• 그린 함수와 커널 방법을 활용해 선형 매개변수형 PDE의 해 연산자(해를 구하는 함수)를 가우시안 프로세스(GP)로 수식화한다.
• GP 프레임워크를 활용해 얕은(단일층) 신경연산자 케이스에 대해 정확한 베이지안 추론을 제공한다.
• 라플라스 근사법을 통해 딥 신경연산자로의 베이지안 처리를 확장함으로써, 학습 후 효율적인 사후 분포 근사가 가능해진다.
• 라플라스 근사법을 적용해 네트워크 가중치의 사후 공분산을 추정하고, 이로써 출력 함수에 대한 예측 불확실성을 도출한다.
• 라플라스 근사에서 유도된 예측 분산을 입력 도메인 전역에서의 구조적 불확실성 측정치로 활용한다.
• 함수 쌍 (f, u)에 대해 신경연산자를 학습하여 해 연산자 G: f ↦ u 를 학습한 후, 베이지안 추론을 적용해 예측의 불확실성 정량화를 수행한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스를 활용해 얕은(선형) 신경연산자의 경우에 대해 엄밀한 베이지안 공식화를 유도할 수 있는가?
• RQ2 해석적 해가 불가능한 딥 신경연산자에 대해 불확실성 정량화를 효과적으로 어떻게 확장할 수 있는가?
• RQ3 라플라스 근사법을 통한 근사 베이지안 추론이, 특히 모델 아티팩트가 있는 영역에서 국소적인 예측 오차를 탐지할 수 있는가?
• RQ4 제안된 불확실성 추정은 낮은 데이터 및 높은 데이터 환경 모두에서 잘 校정되어 있고 유용한가?
• RQ5 불확실성 측정치는 렐루 활성화 함수 등으로 인한 모델 한계로 인한 높은 오차 영역과 데이터 희소성으로 인한 높은 오차 영역를 구분할 수 있는가?

주요 결과

• 신경연산자의 선형 케이스는 가우시안 프로세스를 통해 정확한 베이지안 처리가 가능하며, 이로써 해석적 불확실성 정량화가 가능하다.
• 라플라스 근사법은 사전 학습된 딥 신경연산자에 불확실성 추정을 추가하는 데 있어 계산적으로 효율적인 방법을 제공하며, 오버헤드가 최소화된다.
• 낮은 데이터 환경에서는 도메인 전역에 걸쳐 구조적 불확실성이 생성되어, 예측 신뢰도가 낮은 영역를 식별한다.
• 높은 데이터 환경에서는 불확실성 추정이 Darcy 흐름 문제에서 모델이 일반화에 실패하는 날카로운 아티팩트 영역을 정확히 국소화하여 드러낸다.
• 예측 표준편차와 실제 예측 오차 사이에 강한 상관관계가 존재하여, 잘 校정된 불확실성 추정임을 입증한다.
• 이 방법은 렐루 활성화 함수 등으로 인한 모델 고유의 고장 모드를 탐지할 수 있으며, 과학적 응용에서 예측에 대한 신뢰도를 향상시킨다.