[논문 리뷰] Numerical posterior distribution error control and expected Bayes Factors in the bayesian Uncertainty Quantification of Inverse Problems

J. Andrés Christen, Marcos A. Capistrán외 1명|arXiv (Cornell University)|2016. 07. 07.

Probabilistic and Robust Engineering Design참고 문헌 16인용 수 3

한 줄 요약

이 논문은 역문제의 베이지안 불확실성 정량화에서 수치적 소프트웨어 해법의 실용적 오차 제어 프레임워크를 제안하며, 수치적 사후분포가 이론적 사후분포와 구분되지 않도록 보장한다. 기대 베이즈 요인을 사용하여 해법의 전반적 오차를 제한함으로써, 계산 비용이 저렴하고 적응형 해법을 사용할 수 있게 되어, 낮은 해상도의 근사치를 사용할 때에도 사후분포 정확도를 유지할 수 있다.

ABSTRACT

In the bayesian analysis of Inverse Problems most relevant cases the forward maps (FM, or regressor function) are defined in terms of a system of (O, P)DE's with intractable solutions. These necessarily involve a numerical method to find approximate versions of such solutions and lead to a numerical/approximate posterior distribution. Recently several results have been published on the regularity conditions required on such numerical methods to ensure converge of the numerical to the theoretical posterior. However, more practical guidelines are needed to ensure a suitable working numerical posterior. ]Capistran2016] prove for ODE's that the Bayes Factor of the approximate vs the theoretical model tends to 1 in the same order as the numerical method order. In this work we generalize the latter paper in that we consider 1) also PDE's, 2) correlated observations, 3) practical guidelines in a multidimensional setting and 4) explore the use of expected Bayes Factors. This permits us to obtain bounds on the absolute global errors to be tolerated by the FM numerical solver, which we illustrate with some examples. Since the Bayes Factor is kept above 0.95 we expect that the resulting numerical posterior is basically indistinguishable from the theoretical posterior, even though we are using an approximate numerical FM. The method is illustrated with some examples using synthetic data.

연구 동기 및 목표

• 역문제의 베이지안 불확실성 정량화(Bayesian uncertainty quantification, UQ)에서 수치적 해법 정밀도를 선택하는 데 있어 실용적인 지침의 부족을 해결하기 위해.
• 이론적 수렴 결과를 관찰값 간 상관관계가 있는 ODE 및 PDE를 포함한 실질적인 현실 환경으로 확장하기 위해.
• 전반적 해법 오차에 대한 정량적 경계를 제공하여, 수치적 사후분포가 이론적 사후분포와 실질적으로 구분되지 않도록 보장하기 위해.
• 계산 비용을 줄이기 위해 정확도를 저하시킨 적응형, 저해상도 해법을 사용하면서도 사후분포 정확도를 유지할 수 있도록 하기 위해.
• 관측 잡음에 대해 강건하고 다차원 복잡계에 적용 가능한 오차 제어 프레임워크를 구축하기 위해.

제안 방법

• 수치 모델(근사된 정방향 맵을 사용)과 이론 모델(정확한 정방향 맵을 사용)을 비교하기 위해 기대 베이즈 요인(Bayes factors, BFs)을 메트릭으로 사용한다.
• 기대 베이즈 요인이 1에 가까워지도록 보장하기 위해 수치적 해법의 전반적 오차에 대한 경계를 유도한다. 이는 사후분포의 차이가 미미함을 의미한다.
• 이 경계를 ODE 및 PDE 시스템에 적용하여, 적응형 메쉬 정밀도 조절을 통해 해법 해상도를 동적으로 조정한다.
• 고해상도 및 적응형 해법 하에서 사후분포를 샘플링하기 위해 twalk MCMC 알고리즘을 활용한다.
• 수치 방법의 정규성 조건 및 수렴 차수(예: 룬게-쿠타, 비연속 갈레르킨)를 활용하여 해법 오차와 사후오차 간의 관계를 수립한다.
• 예시에서 합성 데이터를 사용하여, 적응형 해법이 훨씬 낮은 계산 비용으로도 고해상도 기준과 유사한 사후분포를 도출함을 검증한다.

실험 결과

연구 질문

• RQ1 베이지안 UQ에서 수치적 해법 오차를 어떻게 제한할 수 있을까? 이로 인해 생성된 수치적 사후분포가 이론적 사후분포와 실질적으로 구분되지 않도록 보장하기 위해.
• RQ2 수치적 해법의 수렴 차수와 수치 모델 및 이론 모델 간의 베이즈 요소 간의 관계는 어떠한가?
• RQ3 역문제의 베이지안 해법에서 검출 가능한 오차 없이 적응형, 저해상도 해법을 사용할 수 있는가?
• RQ4 관측 잡음은 사후 추론에서 허용 가능한 해법 오차 수준에 어떤 영향을 미치는가?
• RQ5 제안된 오차 제어 프레임워크는 관측값 간 상관관계가 있는 PDE 기반 역문제에 얼마나 일반화될 수 있는가?

주요 결과

• 수치적 해법의 전반적 오차는 관측 잡음의 표준편차 σ에 비례하고 표본 크기의 제곱근에 반비례하는 임계값 이하로 제한되어야 하며, 이는 기대 베이즈 요인이 1에 가까워지게 한다.
• ODE 예제에서는 적응형 그리드를 사용하여 CPU 시간을 60% 절감(10.95시간에서 4.27시간으로)하였고, 고해상도 기준과 비교해 사후분포가 구분되지 않았다.
• PDE 예제(Burgers’ equation)에서는 오차 제어 기반 적응형 해법이 512점 그리드에서의 결과와 거의 동일한 사후분포를 생성하여, 이 방법의 정확성과 효율성을 확인하였다.
• 기대 베이즈 요인이 수치 방법의 전반적 오차와 동일한 속도로 1으로 수렴함으로써, 해법 정확도와 사후 충실도 간 이론적 연결성이 검증되었다.
• 전체 오차가 유도된 경계 이내로 유지된다면, 정확도가 낮고 계산 비용이 저렴한 해법을 사용함으로써 불확실성 정량화의 정확도를 훼손하지 않도록 보장할 수 있다.
• 이 프레임워크는 ODE 및 PDE 모두에 적용 가능하며, 관측값 간 상관관계가 있는 경우에도 확장 가능하여 실질적인, 실용적인 지침을 제공한다.