[논문 리뷰] Multilevel Bayesian Parameter Estimation in the Presence of Model Inadequacy and Data Uncertainty

Amir Shahmoradi|arXiv (Cornell University)|2017. 11. 28.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 5

한 줄 요약

이 논문은 과학적 추론에서 모델 부적합성과 데이터 불확실성을 동시에 정량화하기 위한 계층적 베이지안 프레임워크를 제안한다. 물리 모델, 통계적 부적합성 모델, 측정 노이즈 모델을 다수의 사후 분포 내에 통합함으로써, 모델이 불완전하고 데이터가 노이즈가 있을 경우에도 견고한 매개변수 추정이 가능하게 하며, 핵심 기여는 데이터와 모델 제약 조건을 만족하는 모든 가능한 진실에 대해 최적화하는 통합된 가능성 함수이다.

ABSTRACT

Model inadequacy and measurement uncertainty are two of the most confounding aspects of inference and prediction in quantitative sciences. The process of scientific inference (the inverse problem) and prediction (the forward problem) involve multiple steps of data analysis, hypothesis formation, model construction, parameter estimation, model validation, and finally, the prediction of the quantity of interest. This article seeks to clarify the concepts of model inadequacy and bias, measurement uncertainty, and the two traditional classes of uncertainty: aleatoric versus epistemic, as well as their relationships with each other in the process of scientific inference. Starting from basic principles of probability, we build and explain a hierarchical Bayesian framework to quantitatively deal with model inadequacy and noise in data. The methodology can be readily applied to many common inference and prediction problems in science, engineering, and statistics.

연구 동기 및 목표

• 과학적 추론에서 모델 부적합성과 데이터 불확실성을 별도로 다루거나 忽시하는 문제를 다루기.
• 확률적 불확실성(제거할 수 없는)과 지식 기반 불확실성(제거 가능한)의 차이를 명확히 하고, 이들이 모델 부적합성과 어떻게 상호작용하는지 설명하기.
• 모델 부적합성을 결정론적 오차가 아니라 통계적 현상으로 간주하는 원칙적인 베이지안 접근법을 개발하기.
• 모든 가능한 자연 상태의 실현값에 대해 최적화함으로써 측정 노이즈와 모델의 완전성 결함을 모두 고려한 가능성 함수를 제시하기.
• 다수의 사후 분포를 통해 모델 편향과 관측 불확실성을 동시에 고려하여 신뢰할 수 있는 매개변수 추정과 예측을 가능하게 하기.

제안 방법

• 관측 데이터(D)와 구별되는 관측 불가능한 랜덤 변수인 진실(R)을 수식화하여 모델 오차와 측정 오차를 분리하기.
• 진실(R*)의 가능한 실현값에 대해 가능성을 정의하고 전체 표본 공간 ΩR*에 대해 최적화하는 계층적 구조를 도입하기.
• 물리 모델(M_phys), 모델 편향을 위한 부적합성 모델(M_inad), 측정 오차를 위한 노이즈 모델(M_nois)을 조합한 가능성 함수를 구성하기.
• 계층적 가능성 함수에 베이즈 규칙을 적용하여 물리 모델 및 부적합성 모델 매개변수(θ_pi)의 공동 사후 분포를 유도하기.
• 식 (67)에 제시된 공동 사후 분포를 사용하여 다수 수준의 추론을 수행하기: π(θ_pi | D, Θ_nois, M_nois, M_pi, IR, I_θ_pi) ∝ ∫ π(D|R*, θ_nois,i, M_nois,i) π(R*|IR_i) π(R*|θ_pi, M_pi) dR* × π(θ_pi|M_pi, I_θ_pi).
• 모든 불확실성 원천을 고려하기 위해 매개변수 공간과 진실 공간에 대한 증거 적분을 계산하여 정규화를 보장하기.

실험 결과

연구 질문

• RQ1 베이지안 프레임워크 내에서 모델 부적합성과 데이터 불확실성을 공식적으로 구분하고 동시에 정량화할 수 있는가?
• RQ2 모델 편향과 측정 노이즈가 동시에 존재할 경우 올바른 가능성 함수는 무엇인가?
• RQ3 불완전한 모델과 노이즈가 있는 데이터를 고려할 때 자연 상태의 진실에 대한 불확실성을 반영하기 위해 사후 분포는 어떻게 구성되어야 하는가?
• RQ4 물리 모델, 부적합성 모델, 노이즈 모델을 모두 통합하면서 모든 가능한 진실 실현값에 대해 일관적으로 최적화할 수 있는 계층적 베이지안 모델은 가능한가?
• RQ5 진실에 대한 사전 지식(IR)과 모델 매개변수에 대한 사전 지식(I_θ_pi)은 모델 편향과 데이터 노이즈를 교정하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 계층적 가능성 함수(식 60)는 모든 가능한 진실 실현값 ΩR*에 대해 최적화함으로써, 물리 모델을 만족하지 않더라도 모델 부적합성을 적절히 반영한다.
• 공동 사후 분포(식 67)는 물리 모델, 부적합성 모델, 노이즈 모델을 하나의 다수 수준 추론 과정에 통합하는 일관된 베이지안 추론 프레임워크를 제공한다.
• 측정 오차(M_nois로 모델링)와 모델 편향(M_inad로 모델링)의 역할을 정확히 분리하여 혼합된 불확실성 원천을 피한다.
• 물리 모델이 체계적으로 편향되어 있어도, 데이터로부터 부적합성 모델을 학습함으로써 견고한 매개변수 추정이 가능하다.
• 정규화 요소(증거)는 매개변수 공간과 진실 공간에 대한 이중 적분으로 명시적으로 유도되어 있어, 올바른 베이지안 업데이트를 보장한다.
• 이 방법은 불완전한 모델과 노이즈 있는 관측이 포함된 다양한 과학 및 공학 문제에 일반적으로 적용 가능하다.