[논문 리뷰] Uncertainty Quantification in Scientific Machine Learning: Methods, Metrics, and Comparisons

Apostolos F Psaros, Xuhui Meng외 3명|arXiv (Cornell University)|2022. 01. 19.

Model Reduction and Neural Networks인용 수 24

한 줄 요약

논문은 SciML에서 총 불확실성 모델링 및 평가를 위한 포괄적 프레임워크를 제시하고, PINN 및 DeepONet 맥락에서 Bayesian 방법, 앙상블, 기능적 priors, 포스트-훈련 보정을 통합하며, 광범위한 비교 연구를 수행한다.

ABSTRACT

Neural networks (NNs) are currently changing the computational paradigm on how to combine data with mathematical laws in physics and engineering in a profound way, tackling challenging inverse and ill-posed problems not solvable with traditional methods. However, quantifying errors and uncertainties in NN-based inference is more complicated than in traditional methods. This is because in addition to aleatoric uncertainty associated with noisy data, there is also uncertainty due to limited data, but also due to NN hyperparameters, overparametrization, optimization and sampling errors as well as model misspecification. Although there are some recent works on uncertainty quantification (UQ) in NNs, there is no systematic investigation of suitable methods towards quantifying the total uncertainty effectively and efficiently even for function approximation, and there is even less work on solving partial differential equations and learning operator mappings between infinite-dimensional function spaces using NNs. In this work, we present a comprehensive framework that includes uncertainty modeling, new and existing solution methods, as well as evaluation metrics and post-hoc improvement approaches. To demonstrate the applicability and reliability of our framework, we present an extensive comparative study in which various methods are tested on prototype problems, including problems with mixed input-output data, and stochastic problems in high dimensions. In the Appendix, we include a comprehensive description of all the UQ methods employed, which we will make available as open-source library of all codes included in this framework.

연구 동기 및 목표

• 데이터, 모델, 최적화 소스의 오차를 포함하여 SciML에서 불확실성 정량화의 도전과제를 동기 부여하고 형식화한다.
• 물리정보 신경망(PINN)과 신경 연산자(Neural Operators)를 확률적 접근과 결합하는 불확실성 모델링의 통합 프레임워크를 제안한다.
• 일반적인 UQ 방법(Bayesian, ensembles, functional priors)과 평가 지표를 SciML 내에서 조사하고 통합한다.
• 이질적 데이터를 가진 신경 편미분방정식(neural PDEs)과 신경 연산자(neural operators)에 대한 광범위한 비교 연구를 통해 프레임워크를 시연한다.
• SciML에서 UQ를 위한 포스트 트레이닝 개선 및 보정에 대한 오픈 소스 자원과 가이드를 제공한다.

제안 방법

• SciML의 불확실성 원인을 설명하고 총 불확실성을 aleatoric(측정적)과 epistemic(지식적) 구성의 조합으로 형식화한다.
• 신경 PDE 해결을 위한 기초로 PINN과 DeepONet의 기초를 각각 제시한다.
• 우도 기반 사후분포(likelihood-based posteriors), Bayesian 모델 평균(Bayesian model averaging), MC 샘플링을 사용하여 총 불확실성을 정량화하는 예측 분포를 모델링한다.
• 기능적 사전(functional priors)과 앙상블 및 베이지안 후진 추론 방법을 도입하여 신경망 매개변수의 사후 분포를 추정한다.
• 정밀도 및 불확실성 품질을 평가하기 위한 포스트-트레이닝 보정 및 평가 지표를 포함한다.

실험 결과

연구 질문

• RQ1 SciML에서 총 불확실성을 신경 PDE와 신경 연산자 전반에 걸쳐 어떻게 모델링하고 정량화할 수 있는가?
• RQ2 다양한 데이터 및 모델 오분류 하에서 어떤 조합의 Bayesian, 앙상블, 기능적 priors 방법이 신뢰할 수 있는 예측 분포를 산출하는가?
• RQ3 이질적 노이즈, 결정론적/확률적 혼합 문제, 및 연산자 학습을 통합된 UQ 프레임워크에서 어떻게 다룰 수 있는가?
• RQ4 SciML 응용에서 불확실성 추정의 품질을 가장 잘 평가하는 지표와 보정 기술은 무엇인가?
• RQ5 전방 문제, 혼합 PDE, SPDE, 순방향 문제, 그리고 연산자 학습 과제에서 서로 다른 방법들이 어떻게 비교 연구에서 성능을 내는가?

주요 결과

• PRIORS, Bayesian 추론, 앙상블, 보정을 PINN 및 DeepONet에 걸쳐 통합하여 SciML에 대한 통합 UQ 프레임워크가 가능하다.
• 이 프레임워크는 노이즈 데이터 및 결측 데이터가 포함된 이질적 데이터 설정과 혼합 결정론적/확률적 문제를 지원한다.
• 사후 추론 방법은 aleatoric 및 epistemic 구성요소로 분해되는 예측 분포를 산출하여 불확실성 분해를 가능하게 한다.
• 보정 및 포스트-트레이닝 기술은 불확실성 추정치와 모델 예측의 신뢰성을 향상시킨다.
• 비교 연구는 함수 근사, 혼합 PDE, SPDE, 순방향 문제, 그리고 연산자 학습에 대한 광범위한 적용 가능성을 보여준다.
• 프레임워크에 수반되는 오픈 소스 코드 라이브러리가 제공된다(부록 참조).