[논문 리뷰] NeuralUQ: A comprehensive library for uncertainty quantification in neural differential equations and operators

Zongren Zou, Xuhui Meng외 2명|arXiv (Cornell University)|2022. 08. 25.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

NeuralUQ는 과학적 기계 학습(SciML) 모델, 특히 물리학 기반 신경망(PINNs)과 딥 오퍼레이터 네트워크(DeepONets)에 대한 불확실성 정량화(UQ)를 위한 통합적이고 확장 가능한 프레임워크를 제공하는 오픈소스 파이썬 라이브러리입니다. Bayesian 신경망, 몽테카를로 드롭아웃, 하미르톤 몽테카를로와 같은 현대적 UQ 방법들을 모듈러하고 사용자 友好的한 워크플로우를 통해 지원하여, 최소한의 구현 오버헤드로 동적 시스템과 고차원 PDE에서 신뢰할 수 있는 불확실성 추정을 가능하게 합니다.

ABSTRACT

Uncertainty quantification (UQ) in machine learning is currently drawing increasing research interest, driven by the rapid deployment of deep neural networks across different fields, such as computer vision, natural language processing, and the need for reliable tools in risk-sensitive applications. Recently, various machine learning models have also been developed to tackle problems in the field of scientific computing with applications to computational science and engineering (CSE). Physics-informed neural networks and deep operator networks are two such models for solving partial differential equations and learning operator mappings, respectively. In this regard, a comprehensive study of UQ methods tailored specifically for scientific machine learning (SciML) models has been provided in [45]. Nevertheless, and despite their theoretical merit, implementations of these methods are not straightforward, especially in large-scale CSE applications, hindering their broad adoption in both research and industry settings. In this paper, we present an open-source Python library (https://github.com/Crunch-UQ4MI), termed NeuralUQ and accompanied by an educational tutorial, for employing UQ methods for SciML in a convenient and structured manner. The library, designed for both educational and research purposes, supports multiple modern UQ methods and SciML models. It is based on a succinct workflow and facilitates flexible employment and easy extensions by the users. We first present a tutorial of NeuralUQ and subsequently demonstrate its applicability and efficiency in four diverse examples, involving dynamical systems and high-dimensional parametric and time-dependent PDEs.

연구 동기 및 목표

• 과학적 기계 학습(SciML) 모델, 특히 물리학 기반 신경망(PINNs)과 딥 오퍼레이터 네트워크(DeepONets)에 대해 접근하기 쉬우며 잘 유지 관리되는 소프트웨어 부족 문제를 해결하기 위해.
• 다양한 UQ 방법을 SciML 문제에 적용하기 쉽게 만들기 위해 통합적이고 확장 가능하며 사용자 友好的한 소프트웨어 프레임워크를 제공하기 위해.
• 연구자와 실무자 모두가 일관된 소프트웨어 환경 내에서 최신 UQ 기법—예: 베이지안 추론, 몽테카를로 드롭아웃, 딥 앙상블—을 효율적으로 적용하고 비교하며 확장할 수 있도록 하기 위해.
• 포괄적인 튜토리얼과 모듈러한 설계를 통해 재현 가능한 연구와 빠른 프로토타이핑을 촉진하여, 사용자 정의 서rogate, 사전 분포, 추론 방법을 지원하기 위해.
• 소규모 및 대규모 데이터 환경 모두에서 효율적이고 확장 가능하며 프로덕션 수준의 UQ 실행을 제공하여 계산 과학 및 공학 분야의 대규모 실세계 응용을 지원하기 위해.

제안 방법

• 서로 다른 구성 요소를 분리하는 모듈러한 소프트웨어 아키텍처를 구현하여, 서rogate 모델(예: PINNs, DeepONets), 사전 분포, 추론 방법(예: HMC, MFVI, MCD), 후행 추정 구성 요소를 분리 구현하기 위해.
• 베이지안 신경망(BNNs), 몽테카를로 드롭아웃(MCD), 딥 앙상블, 하미르톤 몽테카를로(HMC)와 같은 다양한 불확실성 정량화 기법들을 하나의 통합 워크플로우에 통합하기 위해.
• Langevin dynamics(LD), mean-field variational inference(MFVI), MCD와 같은 스트로스틱 최적화 호환 방법을 사용해 대규모 데이터 시나리오에서 확장 가능한 UQ를 위한 미니배치 학습을 지원하기 위해.
• 사용자가 사용자 정의 서rogate(예: 사전 학습된 생성 모델), 사전 분포(예: 물리학에 무관한 기능적 사전), 후행 추론 전략을 쉽게 통합할 수 있는 윈용성을 제공하기 위해.
• 기존 SciML 도구 및 프레임워크와의 쉽게 통합 및 확장이 가능한 표준화되고 확장 가능한 API를 중심으로 라이브러리를 설계하기 위해.
• 실제 문제에 UQ 기법을 설정하고 적용하는 데 도움이 되는 포괄적인 교육용 튜토리얼을 포함하여, ODE, PDE, 오퍼레이터 학습 작업 등에 적용 가능한 워크플로우를 안내하기 위해.

Figure 1: Schematic overview of a SciML problem scenario. As shown in (a), SciML problems of interest include, but are not limited to, forward, inverse and mixed ODEs/PDEs, and operator learning problems. Next, in the pie chart of (b) a qualitative breakdown of total uncertainty is shown, describing

실험 결과

연구 질문

• RQ1 과학적 기계 학습에서 신경미분방정식과 오퍼레이터 학습 모델에 대해 불확실성 정량화(UQ)를 체계적이고 효율적으로 적용하는 방법은 무엇인가요?
• RQ2 소규모 데이터(수백 건의 측정값 수준)와 대규모 데이터에서의 다양한 문제 유형(정방/역방 ODE/PDE, 매개변수 및 시간에 의존하는 PDE)에 대해 가장 효과적인 UQ 방법은 무엇인가요?
• RQ3 다양한 UQ 기법을 지원하면서도 사용성과 성능을 유지하는 통합적이고 모듈러하며 확장 가능한 소프트웨어 라이브러리를 설계하는 방법은 무엇인가요?
• RQ4 딥 앙상블, 베이지안 추론, 드롭아웃 기반 방법 등 다양한 UQ 방법의 계산 효율성, 정확도, 강건성 간 실질적 트레이드오프는 SciML 모델에 적용했을 때 어떻게 나타나나요?
• RQ5 UQ 출력을 활용해 불확실성 인식형 활동 학습을 SciML 파이프라인에 통합하여 지능적인 데이터 수집과 모델 정밀도 향상을 어떻게 달성할 수 있나요?

주요 결과

• NeuralUQ는 HMC, MFVI, MCD, 딥 앙상블 등 다양한 UQ 방법을 PINNs와 DeepONets에 최소한의 코드 복잡도로 적용할 수 있도록 하여 높은 사용성과 확장성의 가능성을 입증했습니다.
• 소규모 데이터(수백 건의 측정값 수준)에서는 하미르톤 몽테카를로(HMC)가 정확한 후행 추정을 제공하며 계산 효율성이 우수하여 불확실성에 민감한 응용에 적합합니다.
• 대규모 데이터에서는 Langevin dynamics(LD), mean-field variational inference(MFVI), 몽테카를로 드롭아웃(MCD)과 같은 스트로스틱 최적화 호환 방법이 HMC의 확장 가능한 대체 방법을 제공하며, 미니배치 학습을 지원합니다.
• 딥 앙상블 방법은 신경 ODE/PDE 및 신경 오퍼레이터 문제 모두에서 계산적으로 효율적이고 신뢰할 수 있는 모델 불확실성 추정을 제공하며, 특히 데이터 미니배칭과 결합할 경우 더욱 효과적입니다.
• 물리학에 무관한 기능적 사전 분포(PA-FP)는 신경 오퍼레이터 학습에서 부족하거나 누락된 데이터로 인한 불확실성을 효과적으로 정량화하며, 딥 앙상블은 지식 불확실성(epistemic uncertainty)을 효과적으로 포착합니다.
• 라이브러리는 사용자 정의 서rogate(예: 사전 학습된 물리학 기반 GAN)와 추론 방법의 윈용성 통합을 가능하게 하여, 새로운 복잡한 SciML 워크플로우에 대한 적응성의 우수성을 입증합니다.

Figure 2: A unified view of the UQ models studied in Section 2.2 ; adopted from [ 45 ] . The model $\pazocal{M}_{1}$ can be a NN or a generator network, or nothing. The model $\pazocal{M}_{2}$ can be a PDE or an operator, such as a pre-trained DeepONet. The quantities $\phi$ , $\psi$ can be the solu