[논문 리뷰] Bayesian Calibration of Imperfect Computer Models using Physics-Informed Priors

Michail Spitieris, Ingelin Steinsland|arXiv (Cornell University)|2022. 01. 17.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 미분방정식의 구조를 공분산 함수에 통합하는 물리 기반 가우시안 프로세스 사전분포를 사용하여 비완전한 컴퓨터 모델에 대한 계산적으로 효율적인 베이지안 校정 프레임워크를 제안한다. 물리 기반 사전분포와 가우시안 프로세스를 이용한 모델 이질성 모델링, 해밀토니안 몬테 카를로(Hamiltonian Monte Carlo, HMC) 추론을 조합함으로써, 모델 부정확성과 편향된 데이터가 존재하는 상황에서도 물리적 매개변수와 예측을 정확히 복원할 수 있으며, 대용량 데이터에 대해서는 계산 복잡도가 O(N³)에서 O(N·m²)로 감소한다.

ABSTRACT

We introduce a computational efficient data-driven framework suitable for quantifying the uncertainty in physical parameters and model formulation of computer models, represented by differential equations. We construct physics-informed priors, which are multi-output GP priors that encode the model's structure in the covariance function. This is extended into a fully Bayesian framework that quantifies the uncertainty of physical parameters and model predictions. Since physical models often are imperfect descriptions of the real process, we allow the model to deviate from the observed data by considering a discrepancy function. For inference, Hamiltonian Monte Carlo is used. Further, approximations for big data are developed that reduce the computational complexity from $\mathcal{O}(N^3)$ to $\mathcal{O}(N\cdot m^2),$ where $m \ll N.$ Our approach is demonstrated in simulation and real data case studies where the physics are described by time-dependent ODEs describe (cardiovascular models) and space-time dependent PDEs (heat equation). In the studies, it is shown that our modelling framework can recover the true parameters of the physical models in cases where 1) the reality is more complex than our modelling choice and 2) the data acquisition process is biased while also producing accurate predictions. Furthermore, it is demonstrated that our approach is computationally faster than traditional Bayesian calibration methods.

연구 동기 및 목표

• 모델 부정확성과 데이터 편향으로 인해 체계적인 이질성이 발생하는 미분방정식으로 기술되는 비완전한 물리 모델에서의 매개변수 추정 문제를 해결한다.
• 물리적 구조에 대한 사전 지식을 통합하여 물리적 매개변수와 모델 예측의 불확실성을 정량화하는 완전한 베이지안 프레임워크를 개발한다.
• 미분방정식의 구조를 직접 공분산 함수에 통합하여 사전분포의 정보량을 향상시키는 물리 기반 가우시안 프로세스 사전분포를 제안한다.
• 전체 GP를 하위 데이터 포인트 집합으로 근사하는 유도점(Inducing points)을 사용한 저랭크 근사 기법을 도입하여, O(N³)에서 O(N·m²)로 계산 복잡도를 감소시켜 대용량 데이터에의 적용 가능성을 확보한다.
• 실제 과정이 모델보다 더 복잡하거나 데이터 수집이 편향된 경우에도 진짜 매개변수를 회복하고 정확한 예측을 수행하는 데 있어 강건성을 입증한다.

제안 방법

• 물리 모델의 선형 미분 연산자(예: ODE 또는 PDE)에서 유도된 공분산 함수를 갖는 다중 출력 가우시안 프로세스 사전분포를 구축하여, 물리 법칙을 직접 통합한다.
• 해밀토니안 몬테 카를로(Hamiltonian Monte Carlo, HMC)를 사용하여 물리적 매개변수와 이질성 함수의 사후분포 추론을 수행함으로써 고차원 매개변수 공간의 효율적 탐색을 가능하게 한다.
• 체계적인 모델 이질성을 별도의 가우시안 프로세스 사전분포를 통해 이질성 함수에 적용하여, 관측 데이터에서 벗어나도 물리적 일관성을 유지할 수 있도록 한다.
• 물리 기반 사전분포를 케네디-오헤건(Kennedy-O'Hagan, KOH) 프레임워크와 통합하여 매개변수와 이질성에 대한 동시 추론과 불확실성 정량화를 가능하게 한다.
• 전체 GP를 하위 데이터 포인트 집합으로 근사하는 유도점 기반 저랭크 근사를 개발하여, 계산 복잡도를 O(N³)에서 O(N·m²)로 감소시키며, 여기서 m ≪ N 이다.
• 시간에 따라 변화하는 ODE(예: Windkessel 모델)와 공간-시간 PDE(예: 열 방정식)에 프레임워크를 적용하며, 공간-시간 상관관계를 위해 비등방성 제곱 지수 커널을 사용한다.

실험 결과

연구 질문

• RQ1 모델 형식 불확실성이 존재하는 상황에서 물리 기반 사전분포가 베이지안 校정의 정확성과 효율성을 어떻게 향상시키는가?
• RQ2 실제 과정이 가정된 모델 구조보다 더 복잡한 경우, 이 프레임워크는 진짜 물리적 매개변수를 얼마나 잘 복원하는가?
• RQ3 편향되거나 노이즈가 많은 데이터 하에서 이질성 함수의 포함이 예측 정확도에 얼마나 기여하는가?
• RQ4 제안된 저랭크 근사는 대용량 데이터 세트에 대해 계산 비용을 줄이면서도 정확도를 유지할 수 있는가?
• RQ5 HMC와 이질성 모델링을 통합한 물리 기반 사전분포의 통합은 전통적 베이지안 校정에 비해 속도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 실제 혈류역학 과정이 모델보다 더 복잡한 경우에도, 이 방법은 Windkessel 모델의 진짜 물리적 매개변수를 성공적으로 복원한다.
• 편향된 데이터 수집 조건에서도 이질성 함수의 포함 덕분에 Windkessel 모델의 압력과 유량에 대한 정확한 예측을 도출한다.
• 저랭크 근사를 통해 계산 복잡도가 O(N³)에서 O(N·m²)로 감소하였으며, 여기서 m ≪ N 이므로 대규모 데이터 세트에의 스케일러빌리티를 확보하였다.
• 물리 기반 사전분포가 사전분포의 정보량을 크게 향상시켜, 비정보 기반 사전분포보다 수렴 속도가 빠르고 사후 추론의 정확도가 높아졌다.
• 계산 속도 측면에서 전통적 베이지안 校정을 능가하면서도 매개변수 복원 및 예측 정확도를 유지하거나 향상시켰다.
• HMC의 사용 덕분에 매개변수와 이질성의 공동 사후분포에서 효율적인 샘플링이 가능하여, 모든 모델 구성 요소에 대한 강력한 불확실성 정량화를 보장한다.