[논문 리뷰] Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data

Stephanie A. Atkinson|arXiv (Cornell University)|2020. 06. 07.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

이 논문은 신경망과 가우시안 프로세스를 사용하여 데이터에서 비선형 편미분 연산자를 학습하는 확률적 프레임워크인 베이지안 숨겨진 물리 모델(BHPM)을 소개한다. 이는 물리 법칙 발견에서의 불확실성 정량화를 가능하게 한다. 여러 실험 데이터셋을 결합하고 베이지안 추론를 통해 지식 부족 불확실성(epistemic uncertainty)을 전파함으로써, 연산자와 해에 대한 사후 분포를 제공하여 새로운 초기경계값 문제(IBVP) 예측의 신뢰도를 크게 향상시킨다.

ABSTRACT

What do data tell us about physics-and what don't they tell us? There has been a surge of interest in using machine learning models to discover governing physical laws such as differential equations from data, but current methods lack uncertainty quantification to communicate their credibility. This work addresses this shortcoming from a Bayesian perspective. We introduce a novel model comprising "leaf" modules that learn to represent distinct experiments' spatiotemporal functional data as neural networks and a single "root" module that expresses a nonparametric distribution over their governing nonlinear differential operator as a Gaussian process. Automatic differentiation is used to compute the required partial derivatives from the leaf functions as inputs to the root. Our approach quantifies the reliability of the learned physics in terms of a posterior distribution over operators and propagates this uncertainty to solutions of novel initial-boundary value problem instances. Numerical experiments demonstrate the method on several nonlinear PDEs.

연구 동기 및 목표

• 데이터 기반 미분방정식 발견에서의 불확실성 정량화(UQ) 부족 문제를 해결하기 위해.
• 유한한 데이터로 인해 발생하는 지식 부족 불확실성(epistemic uncertainty)을 정량화하는 베이지안 프레임워크를 개발하기 위해.
• 유추된 연산자에서 발생하는 불확실성을 새로운 초기경계값 문제(IBVP)의 예측으로 전파하기 위해.
• 확률적 추론을 통해 물리 법칙 발견에서의 신뢰성 있는 외삽 및 신뢰도 평가를 가능하게 하기 위해.
• 다양한 실험 데이터셋을 통합하여 기반 PDE 연산자에 대한 통합된 불확실성 인식 모델을 구축하기 위해.

제안 방법

• 각기 다른 IBVP의 해를 캡처하는 '리프'(leaf) 신경망을 사용하여 복수의 실험에서 유래한 시공간 데이터를 표현한다.
• 자동 미분를 통해 리프 함수의 공간적 및 시간적 도함수를 계산하고, 이를 루트 모델의 입력으로 사용한다.
• 루트 모듈은 알려지지 않은 비선형 미분 연산자를 가우시안 프로세스(GP)로 모델링하여 연산자에 대한 비모수적 추론을 가능하게 한다.
• GP에 대해 베이지안 추론을 수행하여 미분 연산자에 대한 사후 분포를 확보하고 불확실성을 정량화한다.
• 연산자에 대한 불확실성이 새로운 IBVP의 해로 전파되어 단일 결정론적 예측이 아닌 해에 대한 분포를 제공한다.
• 신경망 구성 요소를 학습하기 위해 Adam을 사용하는 스토하스틱 최적화와 코즈인-냉각 학습률을 활용한다.

실험 결과

연구 질문

• RQ1 데이터 기반 비선형 PDE 발견 방법이 자신의 예측에 대해 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ2 학습된 미분 연산자에서 발생하는 지식 부족 불확실성은 어떻게 정량화하고 새로운 초기경계값 문제(IBVP)의 해로 전파할 수 있는가?
• RQ3 베이지안 접근법이 제한적이고 노이즈가 많은 데이터로부터의 물리 법칙 발견의 신뢰성과 신뢰도를 얼마나 향상시킬 수 있는가?
• RQ4 여러 실험 데이터셋을 통합함으로써 학습된 연산자의 강건성과 일반화 능력은 어떻게 향상되는가?
• RQ5 연산자에서의 불확실성 정량화는 새로운 IBVP에서의 일반화 능력 향상과 실패 모드 탐지에 어떻게 기여하는가?

주요 결과

• 베이지안 숨겨진 물리 모델은 가우시안 프로세스 사전분포를 사용하여 학습된 미분 연산자에 대한 불확실성을 성공적으로 정량화하고, 연산자에 대한 사후 분포를 제공한다.
• 이 방법은 새로운 IBVP의 해로 향한 불확실성 전파를 가능하게 하여 단일 점 추정치가 아닌 해에 대한 예측 분포를 제공한다.
• 버거스 방정식과 KdV 방정식에 대한 수치 실험 결과, 모델은 낮은 예측 오차를 기록하였으며, RMSE 값은 PINNs와 유사하지만 내재된 불확실성 정량화 기능을 갖춘다.
• 모델의 불확실성 추정치는 잘 校정되어 있으며, 입력 공간 커버리지 플롯에서 훈련 데이터가 집중된 영역에서는 신뢰구간이 진짜 해를 포함하는 것으로 나타났다.
• 이 접근법은 결정론적 방법보다 신뢰도가 높으며, 데이터 커버리지가 희박한 영역에서는 낮은 신뢰도 예측을 경고함으로써 암묵적 실패의 위험을 줄인다.
• 노이즈가 있는 데이터에 대해 강건하며, 예측되지 않은 初기 조건 및 경계 조건으로의 일반화 능력이 효과적으로 작동하며, 외삽 영역에서는 불확실성이 적절히 증가하는 경향을 보였다.