[논문 리뷰] Uncertainty quantification for noisy inputs-outputs in physics-informed neural networks and neural operators

Zongren Zou, Xuhui Meng외 1명|arXiv (Cornell University)|2023. 11. 19.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 물리 기반 신경망(PINNs) 및 신경 연산자(NO)의 베이지안 불확도 정량화(UQ) 프레임워크를 제안하며, 측정 오차 모델을 우도에 통합하여 노이즈가 있는 입력 및 출력(예: 불확실한 시간-공간 좌표 또는 손상된 입력 함수)을 고려한다. 이 방법은 센서 노이즈가 있는 실제 시나리오에서도 정확하고 불확도 인식 예측을 가능하게 하며, 1D 및 2D PDE 문제와 고차원 Darcy 유량 문제에서 성공적으로 검증되었다.

ABSTRACT

Uncertainty quantification (UQ) in scientific machine learning (SciML) becomes increasingly critical as neural networks (NNs) are being widely adopted in addressing complex problems across various scientific disciplines. Representative SciML models are physics-informed neural networks (PINNs) and neural operators (NOs). While UQ in SciML has been increasingly investigated in recent years, very few works have focused on addressing the uncertainty caused by the noisy inputs, such as spatial-temporal coordinates in PINNs and input functions in NOs. The presence of noise in the inputs of the models can pose significantly more challenges compared to noise in the outputs of the models, primarily due to the inherent nonlinearity of most SciML algorithms. As a result, UQ for noisy inputs becomes a crucial factor for reliable and trustworthy deployment of these models in applications involving physical knowledge. To this end, we introduce a Bayesian approach to quantify uncertainty arising from noisy inputs-outputs in PINNs and NOs. We show that this approach can be seamlessly integrated into PINNs and NOs, when they are employed to encode the physical information. PINNs incorporate physics by including physics-informed terms via automatic differentiation, either in the loss function or the likelihood, and often take as input the spatial-temporal coordinate. Therefore, the present method equips PINNs with the capability to address problems where the observed coordinate is subject to noise. On the other hand, pretrained NOs are also commonly employed as equation-free surrogates in solving differential equations and Bayesian inverse problems, in which they take functions as inputs. The proposed approach enables them to handle noisy measurements for both input and output functions with UQ.

연구 동기 및 목표

• PINNs에서의 공간-시간 좌표나 NOs의 입력 함수처럼 노이즈가 있는 입력이 존재하는 과학 기반 머신러닝(SciML) 모델의 불확도 정량화(UQ) 분야에서의 핵심 격차를 해소한다.
• 비선형성으로 인해 노이즈가 있는 입력은 노이즈가 있는 출력보다 더 큰 도전 과제를 야기하므로, 특히 물리 기반 학습에서 이러한 과제를 극복한다.
• 입자 이미지 속도 측정(PIV) 및 수문 모델링과 같은 실제 센서 데이터를 포함한 실용적 응용 분야에서 PINNs와 사전 훈련된 NOs의 신뢰성 있는 구현을 가능하게 한다.
• 이전에 노이즈가 있는 출력에만 집중된 기존의 UQ 방법을 확장하여 하이브리드 역문제 및 정방문제에서 입력과 출력 노이즈로부터의 불확도를 동시에 모델링한다.
• 사전 훈련된 NOs를 사용하여 희소하고 노이즈가 있으며 빈약한 측정값에서 물리적 필드(예: 수압 및 수리 전도도)를 상호 보완적으로 재구성하고, 전체 불확도 정량화를 가능하게 한다.

제안 방법

• 입력과 출력 노이즈를 모두 알려진 분산 파rameter를 가진 중심이 0인 가우시안 과정를 사용하여 명시적으로 모델링하는 베이지안 추론 프레임워크를 수립한다.
• 측정 오차 모델을 PINNs와 NOs의 우도 함수에 통합하여, 기저 물리적 해의 추론과 함께 노이즈가 있는 입력으로부터의 불확도 전파를 가능하게 한다.
• PINNs에서 자동 미분를 사용하여 물리 제약(예: PDE 잔차)을 손실 함수에 통합하면서도, 우도를 통해 노이즈가 있는 좌표를 동시에 고려한다.
• 사전 훈련된 신경 연산자(FNOs 및 DeepONets)에 이 프레임워크를 적용하여, 노이즈가 있는 입력 함수(예: 경계 조건, 소스 항)와 노이즈가 있는 출력 측정값을 모두 불확도 정량화와 함께 처리할 수 있도록 한다.
• 변분 추론 또는 몬테카를로 샘플링을 사용하여 해의 사후 분포를 근사하고, 지식 기반 불확도와 애나토릭 불확도를 모두 캡처한다.
• 고차원 문제(예: Darcy 유량)에서 상호 보완적 학습 전략을 적용하여, 희소하고 노이즈가 있는 관측치로부터 입력 및 출력 필드를 동시에 재구성하고 불확도 인식 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간-공간 좌표의 입력 노이즈가 물리 기반 신경망(PINNs)의 예측 신뢰성에 어떤 영향을 미치며, 이를 효과적으로 정량화할 수 있는가?
• RQ2 방정식 없이 학습하는 중에 신경 연산자(NO)가 노이즈가 있는 입력 함수(예: 경계 조건 또는 소스 항)와 노이즈가 있는 출력 측정값에 대해 강건하게 작동할 수 있는가?
• RQ3 실제 센서 데이터에 적용했을 때 입력 노이즈를 간과하면 PINNs와 NOs의 정확도 및 불확도 추정에 어떤 영향을 미치는가?
• RQ4 베이지안 추론은 어떻게 확장되어 물리 기반 모델에서 입력과 출력 노이즈로부터의 불확도를 동시에 모델링할 수 있는가?
• RQ5 노이즈가 있는 입력-출력 조건 하에서 PINNs와 사전 훈련된 NOs 모두에 대한 불확도 정량화를 가능하게 하는 통합 프레임워크를 개발할 수 있는가?

주요 결과

• 제안된 베이지안 UQ 프레임워크는 PINNs에서 노이즈가 있는 입력(예: 공간-시간 좌표)과 출력(예: 해 측정값)으로부터의 불확도 전파를 성공적으로 캡처하였으며, 1D 포아송 및 버거스 방정식에서 예측된 불확도가 참값 주위에 잘 둘러싸여 있음을 확인했다.
• 1D 버거스 방정식 예제에서, 이 방법은 희소하고 노이즈가 있는 입력/출력 데이터로부터 해를 재구성했으며, 불확도 구간이 참값을 엄밀히 둘러싸는 것으로 나타나 측정 오차에 대해 강건함을 입증했다.
• 비균질한 확산 항을 가진 시간 의존 반응-확산 방정식에서, 다중 입력 DeepONet은 노이즈가 있는 데이터로부터 해, 소스 항, 그리고 확산 계수를 정확히 재구성했으며, 불확도 추정치는 각 필드에 대한 신뢰도를 반영했다.
• 120차원 Darcy 유량 문제에서, 각 필드에 대해 20개의 노이즈가 있는 측정값으로부터 수압 및 로그-전도도 필드를 상호 보완적으로 재구성했으며, 평균 예측은 정확했고, 불확도 구간은 항상 기준 해를 둘러싸는 것으로 확인되었다.
• 입력 노이즈를 간과하는 표준 PINN 및 NO 접근 방식보다 성능이 뛰어나, 입력 노이즈가 존재할 경우 예측 오차가 크게 감소하고 더 신뢰할 수 있는 불확도 간격을 제공함을 입증했다.
• 이 프레임워크는 FNOs, DeepONets, 다중 입력 DeepONets와 같은 다양한 아키텍처와 호환되어 다양한 SciML 워크플로우에 넓은 적용 가능성을 제공한다.