[논문 리뷰] Maximum a posteriori probability estimates in infinite-dimensional Bayesian inverse problems

Tapio Helin, Martin Burger|arXiv (Cornell University)|2014. 12. 18.

Markov Chains and Monte Carlo Methods참고 문헌 15인용 수 5

한 줄 요약

이 논문은 무한차원 베이지안 역문제에서 최대사후추정치(MAP) 추정치의 변분적 특성으로서 약한 MAP(wMAP) 추정치를 도입하며, 위상적 정의와 변분형식을 연결한다. wMAP 추정치는 표준 MAP 추정치를 일반화하고, 비가우시안 사전분포(예: 베존 및 계층적 모델)에서 이산화 불변성과 베이즈 비용 일致성에 대한 엄밀한 분석을 가능하게 한다.

ABSTRACT

A demanding challenge in Bayesian inversion is to efficiently characterize the posterior distribution. This task is problematic especially in high-dimensional non-Gaussian problems, where the structure of the posterior can be very chaotic and difficult to analyse. Current inverse problem literature often approaches the problem by considering suitable point estimators for the task. Typically the choice is made between the maximum a posteriori (MAP) or the conditional mean (CM) estimate. The benefits of either choice are not well-understood from the perspective of infinite-dimensional theory. Most importantly, there exists no general scheme regarding how to connect the topological description of a MAP estimate to a variational problem. The results by Dashti et. al. (2013) resolve this issue for non-linear inverse problems in Gaussian framework. In this work we improve the current understanding by introducing a novel concept called the weak MAP (wMAP) estimate. We show that any MAP estimate in the sense of Dashti et. al. (2013) is a wMAP estimate and, moreover, how in general infinite-dimensional non-Gaussian problems the wMAP estimate connects to a variational formulation. Such a formulation yields many properties of the estimate that were earlier impossible to study. In a recent work by Burger and Lucka (2014) the MAP estimator was studied in the context of Bayes cost method. Using Bregman distances, proper convex Bayes cost functions were introduced for which the MAP estimator is the Bayes estimator. Here, we generalize these results to the infinite-dimensional setting. Moreover, we discuss the implications of our results for some examples of prior models such as the Besov prior and hierarchical prior.

연구 동기 및 목표

• 무한차원, 비가우시안 베이지안 역문제에서 최대사후추정치(MAP) 추정치에 대한 일반적인 변분 프레임워크의 부재를 해결하기 위해.
• 특히 비가우시안 설정에서 MAP 추정치의 위상적 정의와 변분형식 간의 연결을 수립하기 위해.
• 유한차원에서의 베이즈 비용 결과를 Bregman 거리 개념을 활용해 무한차원 설정으로 일반화하기 위해.
• MAP 추정치의 이산화 불변성과 유한차원 근사가 무한차원 극한으로 수렴하는 조건을 조사하기 위해.
• 특정 사전모형(예: 베존 및 계층적 사전분포)에서 약한 MAP 추정치의 역할과 추론 안정성에 대한 영향을 분석하기 위해.

제안 방법

• 측도의 미분 가능성을 변분 최적화와 연결하기 위해 로그 도함수와 일반화된 온살라-마클루프 함수를 활용한 약한 MAP(wMAP) 추정치 개념을 도입한다.
• 포민의 미분 해석학과 스코로호드의 준불변성 이론을 활용해 사후측도의 로그 도함수를 정의한다.
• wMAP 추정치가 데이터 적합도, 사전 정규화, 그리고 사후측도에 대한 쌍대 변수를 포함하는 기능을 최소화하는 변분형식을 유도한다.
• Bregman 거리를 활용해 wMAP 추정치가 해당 기능에서의 베이즈 추정치가 되는 적절한 볼록 베이즈 비용 함수를 구성함으로써, 유한차원 결과를 무한차원 설정으로 확장한다.
• Dashti 등 [8]의 기준에서의 표준 MAP 추정치가 모두 wMAP 추정치임을 증명함으로써 두 개념 간의 계층적 관계를 확립한다.
• 두 예제(베존 사전분포(특히 p=1 희박성에 중점), 계층적 사전분포)를 활용해 명시적 기능 최소화를 통해 wMAP 추정치를 분석한다.

실험 결과

연구 질문

• RQ1 무한차원 베이지안 역문제에서 MAP 추정치의 위상적 정의는 어떻게 변분형식과 연결될 수 있는가?
• RQ2 어떤 조건에서 wMAP 추정치는 Dashti 등 [8]의 기준에서의 강한 MAP 추정치가 되는가?
• RQ3 wMAP 추정치는 비가우시안 역문제에서 이산화 불변성을 보장하는 데 사용될 수 있는가?
• RQ4 Bregman 거리는 어떻게 wMAP 추정치가 무한차원 설정에서 베이즈 추정치로 기능할 수 있도록 하는가?
• RQ5 로거티즘 도함수가 연속성이 없는 p=1 베존 사전분포에서 wMAP 추정치의 행동은 어떠한가?

주요 결과

• wMAP 추정치는 사후측도의 로그 도함수를 포함하는 변분 기능의 최소화자로 정의되며, 위상적 정의와 변분형식 간의 다리를 놓는다.
• Dashti 등 [8]의 기준에서의 모든 표준 MAP 추정치는 wMAP 추정치이므로, 두 개념 간의 계층적 관계가 확립된다.
• Bregman 거리를 사용할 경우 wMAP 추정치는 베이즈 비용 형식론과 일致함을 입증하여, 무한차원 설정에서 유효한 베이즈 추정치로 기능함을 보여준다.
• 계층적 사전분포의 경우, wMAP 추정치는 미스핏과 미지 변수 및 초모수에 대한 공동 정규화 항을 포함하는 기능의 최소화를 통해 도출된다.
• 베존 사전분포의 wMAP 추정치는 D(μ) ⊂ D(J)의 더 작은 부분공간에 속함을 보여주며, 향상된 정규성과 수렴 성질 향상 가능성을 시사한다.
• 분석 결과, p=1 베존 케이스에서 로그 도함수가 비연속적이므로 wMAP 추정치가 존재하지 않거나 유일하지 않을 수 있음을 밝혀내며, 하위도함수 개념과 유사한 일반화된 도함수 개념의 필요성을 시사한다.