[논문 리뷰] Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations

Shailesh Garg, Souvik Chakraborty|arXiv (Cornell University)|2022. 06. 12.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 변분 추론을 사용하여 예측의 불확실성을 정량화하는 베이지안 딥 오퍼레이터 네트워크인 Variational Bayes DeepONet (VB-DeepONet)을 제안한다. 이는 결정론적 가중치를 변분 사후 분포로 대체하여, 매개변수화된 미분 방정식 예측의 불확실성에 대해 정량화한다. 변분 추론을 통해 VB-DeepONet는 과적합을 줄이고 일반화 성능을 향상시켜 네 가지 벤치마크 문제 중 세 개에서 결정론적 DeepONet를 능가하지만, 약간의 계산 비용 증가가 수반된다.

ABSTRACT

Neural network based data-driven operator learning schemes have shown tremendous potential in computational mechanics. DeepONet is one such neural network architecture which has gained widespread appreciation owing to its excellent prediction capabilities. Having said that, being set in a deterministic framework exposes DeepONet architecture to the risk of overfitting, poor generalization and in its unaltered form, it is incapable of quantifying the uncertainties associated with its predictions. We propose in this paper, a Variational Bayes DeepONet (VB-DeepONet) for operator learning, which can alleviate these limitations of DeepONet architecture to a great extent and give user additional information regarding the associated uncertainty at the prediction stage. The key idea behind neural networks set in Bayesian framework is that, the weights and bias of the neural network are treated as probability distributions instead of point estimates and, Bayesian inference is used to update their prior distribution. Now, to manage the computational cost associated with approximating the posterior distribution, the proposed VB-DeepONet uses extit{variational inference}. Unlike Markov Chain Monte Carlo schemes, variational inference has the capacity to take into account high dimensional posterior distributions while keeping the associated computational cost low. Different examples covering mechanics problems like diffusion reaction, gravity pendulum, advection diffusion have been shown to illustrate the performance of the proposed VB-DeepONet and comparisons have also been drawn against DeepONet set in deterministic framework.

연구 동기 및 목표

• 결정론적 DeepONet의 한계, 즉 과적합과 불확실성 정량화 부족을 해결하기 위해, 매개변수화된 미분 방정식을 해결하는 데에 초점을 맞춘다.
• 계산 효율성을 유지하면서도 불확실성 인식 예측이 가능한 베이지안 딥 오퍼레이터 네트워크를 개발한다.
• 변분 추론을 사용하여 네트워크 가중치의 점 추정치를 확률 분포로 대체함으로써, 강건한 일반화와 불확실성 정량화를 가능하게 한다.
• 일반적인 기계 문제, 즉 상미분 방정식과 편미분 방정식을 포함한 다양한 문제에 대해 제안된 프레임워크의 성능을 평가한다.
• 다양한 벤치마크 문제에서 VB-DeepONet의 성능와 불확실성 캘리브레이션을 결정론적 DeepONet와 비교한다.

제안 방법

• 신경망 가중치와 편향을 점 추정치가 아닌 확률 분포로 간주하여 베이지안 추론을 가능하게 한다.
• 진정한 사후 분포를 근사하기 위해 변분 추론을 사용하며, 변분 사후와 진정한 사후 간의 KL 발산을 최소화한다.
• 스케일러블한 베이지안 딥 러닝을 가능하게 하기 위해 네트워크 파라미터에 표준 정규 prior와 정규 변분 분포를 사용한다.
• 딥오퍼레이터 네티워크와 동일하게 입력 함수를 처리하는 브랜치 네트워크와 공간/시간 좌표를 처리하는 트렁크 네트워크를 조합하여 함수에서 함수로의 매핑을 수행한다.
• 이탈리안 하한 경계(ELBO)의 음수를 최소화하는 손실 함수를 사용하여 모델을 훈련시킨다. 이는 가능도 항과 정규화 항을 모두 포함한다.
• 변분 사후로부터 몬테카를로 샘플링을 통해 평균 출력과 예측 불확실성(예: 신뢰구간)을 예측할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 DeepONet의 베이지안 공식화가 매개변수화된 미분 방정식에 대한 오퍼레이터 학습에서 일반화 성능 향상과 과적합 감소에 기여할 수 있는가?
• RQ2 VB-DeepONet에서 도출된 예측 불확실성은 다양한 물리계에서 참값과 비교해 볼 때 어떻게 평가되는가?
• RQ3 고차원 파라미터 공간을 가진 베이지안 DeepONet 훈련에 있어 MCMC에 비해 변분 추론이 계산적으로 실현 가능한 대안이 될 수 있는가?
• RQ4 예측 정확도와 불확실성 캘리브레이션 측면에서 VB-DeepONet가 결정론적 DeepONet를 능가하는 상황은 어떤 경우인가?
• RQ5 VB-DeepONet가 생성하는 신뢰구간은 특히 MCMC 기반의 베이지안 방법과 비교해 얼마나 신뢰할 수 있는가?

주요 결과

• VB-DeepONet는 네 가지 테스트 케이스 중 세 곳에서 결정론적 DeepONet보다 낮은 정규화된 평균 제곱오차(NMSE)를 기록했다: 역미분(0.009% 대 0.016%), 중력 진자(0.025% 대 0.033%), 확산 반응(0.610% 대 0.458%).
• 역류-확산 문제에서는 VB-DeepONet의 NMSE가 결정론적 DeepONet보다 높았지만(0.355% 대 0.646%), 여전히 의미 있는 불확실성 정량화를 제공했다.
• 네 가지 예제 중 세 곳에서 참값이 95% 예측 신뢰구간 내에 포함되었으며, 이는 합리적인 불확실성 캘리브레이션을 의미한다.
• 역류-확산 케이스에서는 참값이 가끔 신뢰구간을 벗어나는 경우가 있었으며, 이는 변분 추론이 과도하게 자신감 있는 불확실성 추정을 유도할 수 있음을 시사한다.
• 모든 테스트 케이스에서 VB-DeepONet는 예측 신뢰구간을 성공적으로 제공하여, 점 추정치 외에 의사결정자에게 추가적인 통찰을 제공했다.
• 계산 비용이 높아졌음에도 불구하고, VB-DeepONet는 베이지안 정규화 덕분에 데이터가 부족하거나 노이즈가 많은 환경에서 특히 강건성과 일반화 성능 향상을 보였다.