[논문 리뷰] A Consistent Bayesian Formulation for Stochastic Inverse Problems Based on Push-forward Measures

Troy Butler, John Jakeman외 1명|arXiv (Cornell University)|2017. 04. 03.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 16

한 줄 요약

이 논문은 확률적 역문제에 대해 일관된 베이지안 공식화를 제안하며, 사전 확률 측도를 정의함으로써 결정론적 모델을 통해 전파되었을 때 관측된 데이터 분포와 정확히 일치하는 사후 확률 측도를 얻는다. 이 방법은 전방 이행 측도를 사용하여 일관성을 확보하고, 닫힌 형태의 사후 밀도를 유도하며, 존재성, 유일성, 안정성을 입증함으로써 고차원 설정에서 해석 가능성과 계산의 실현 가능성을 향상시키는 고전적 베이지안 추론과 측도 이론적 접근 간의 다리를 놓는다.

ABSTRACT

We formulate, and present a numerical method for solving, an inverse problem for inferring parameters of a deterministic model from stochastic observational data (quantities of interest). The solution, given as a probability measure, is derived using a Bayesian updating approach for measurable maps that finds a posterior probability measure, that when propagated through the deterministic model produces a push-forward measure that exactly matches the observed probability measure on the data. Our approach for finding such posterior measures, which we call consistent Bayesian inference, is simple and only requires the computation of the push-forward probability measure induced by the combination of a prior probability measure and the deterministic model. We establish existence and uniqueness of observation-consistent posteriors and present stability and error analysis. We also discuss the relationships between consistent Bayesian inference, classical/statistical Bayesian inference, and a recently developed measure-theoretic approach for inference. Finally, analytical and numerical results are presented to highlight certain properties of the consistent Bayesian approach and the differences between this approach and the two aforementioned alternatives for inference.

연구 동기 및 목표

• 사전 분포를 결정론적 모델을 통해 전파했을 때 관측된 데이터 분포와 정확히 일치하는 사후 분포를 보장하는 베이지안 추론 프레임워크를 개발하는 것.
• 제안된 일관된 사후 측도에 대한 존재성, 유일성, 안정성이라는 이론적 기초를 확립하는 것.
• 기존의 베이지안 추론과 측도 이론적 접근를 전방 이행 측도를 통해 사전 지식과 데이터 일관성을 결합함으로써 연결하는 것.
• 고차원 파라미터 공간에서의 계산 가능성을 높이기 위해 저차원 데이터 공간 연산에 중점을 두어 고차원 샘플링을 피하는 수치적으로 실현 가능한 방법을 제공하는 것.
• 해석적 및 수치적 예제를 통해 일관된 베이지안 접근, 고전적 베이지안 추론, 측도 이론적 추론 간의 차이점과 유사점을 입증하는 것.

제안 방법

• 사후 밀도는 분해 정리를 사용하여 유도되며, 이를 통해 $\pi_{\mathbf{\Lambda}}^{\text{post}}(\lambda) = \pi_{\mathbf{\Lambda}}^{\text{prior}}(\lambda) \frac{\pi_{\mathbf{\mathcal{D}}}^{\text{obs}}(Q(\lambda))}{\pi_{\mathbf{\mathcal{D}}}^{Q(\text{prior})}(Q(\lambda))}$ 로 표현된다. 여기서 분모는 모델을 통해 사전 분포의 전방 이행 측도이다.
• 이 방법은 파라미터에서 관측 가능한 양으로의 사전 불확실성 전파를 가능하게 하는 전방 이행 측도 $\pi_{\mathbf{\mathcal{D}}}^{Q(\text{prior})}$ 를 계산하는 데 의존한다.
• 전방 이행 측도에 대한 두 가지 핵심 가정 하에 사후의 존재성과 유일성이 증명되어 수학적 일관성이 보장된다.
• 표준 측도 이론적 추론을 사용하여 관측 데이터의 변화에 대한 사후의 안정성을 확립한다.
• 수치적 근사에서는 파라미터 공간에서의 샘플링을 통해 이루어지며, 밀도 비율을 계산하기 위해 $\mathbf{\Lambda}$ 와 $\mathbf{\mathcal{D}}$ 에서 모두 평가가 수행된다.
• 가능한 한 저차원 데이터 공간 연산을 활용하여 고차원 파라미터 공간으로의 확장이 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 어떤 조건 하에서, 모델을 통해 전방 이행되었을 때 관측된 데이터 분포와 정확히 일치하는 사후 확률 측도가 존재하는가?
• RQ2 일관된 베이지안 사후와 고전적 베이지안 추론, 측도 이론적 추론 간의 구조적 및 해석적 차이점은 무엇인가?
• RQ3 제안된 사후 공식화에 대한 이론적 보장—존재성, 유일성, 안정성—은 무엇인가?
• RQ4 어떤 상황에서 일관된 베이지안 사후와 측도 이론적 해가 일치하는가?
• RQ5 일관된 베이지안 접근의 계산 효율성과 수치적 행동은 고전적 및 측도 이론적 방법과 비교하여 어떠한가?

주요 결과

• 두 가지 핵심 가정 하에 전방 이행 측도에 대한 일관된 베이지안 사후는 고유하게 정의되며 존재함을 보장하여 수학적 엄밀성을 확보한다.
• 사후 밀도는 관측된 밀도와 사전 분포의 전방 이행된 밀도의 비율로 명시적으로 표현되어 반복적 샘플링 없이 직접 계산이 가능하다.
• 이 방법은 사후의 전방 이행이 관측된 데이터 분포와 정확히 일치함을 보장하여 일관성 기준을 충족한다.
• 관측 데이터의 변화에 대한 사후의 안정성이 입증되어 실용적 응용에서의 강건성을 지원한다.
• 사전 분포가 파라미터 공간의 체적 측도에 대해 균일할 경우, 일관된 베이지안 사후는 측도 이론적 해와 일치하며, 두 접근 간의 연결 고리를 드러낸다.
• 수치적 예제에서는 비정규 분포 또는 비선형 모델일 경우에 특히 일관된 베이지안 접근과 고전적 베이지안 추론 간의 차이가 뚜렷하게 드러난다.