[論文レビュー] Maximum a posteriori probability estimates in infinite-dimensional Bayesian inverse problems

Tapio Helin, Martin Burger|arXiv (Cornell University)|Dec 18, 2014

Markov Chains and Monte Carlo Methods参考文献 15被引用数 5

ひとこと要約

本稿は、無限次元のベイズ逆問題における最大後確信度推定（MAP）の変分的特徴づけとして、弱いMAP（wMAP）推定を導入し、位相的定義と変分的定式化を橋渡しする。wMAP推定は標準的なMAP推定を一般化し、非ガウス型の事前分布（ベゾフや階層モデルを含む）における離散化不変性およびベイズコストの一貫性の厳密な解析を可能にする。

ABSTRACT

A demanding challenge in Bayesian inversion is to efficiently characterize the posterior distribution. This task is problematic especially in high-dimensional non-Gaussian problems, where the structure of the posterior can be very chaotic and difficult to analyse. Current inverse problem literature often approaches the problem by considering suitable point estimators for the task. Typically the choice is made between the maximum a posteriori (MAP) or the conditional mean (CM) estimate. The benefits of either choice are not well-understood from the perspective of infinite-dimensional theory. Most importantly, there exists no general scheme regarding how to connect the topological description of a MAP estimate to a variational problem. The results by Dashti et. al. (2013) resolve this issue for non-linear inverse problems in Gaussian framework. In this work we improve the current understanding by introducing a novel concept called the weak MAP (wMAP) estimate. We show that any MAP estimate in the sense of Dashti et. al. (2013) is a wMAP estimate and, moreover, how in general infinite-dimensional non-Gaussian problems the wMAP estimate connects to a variational formulation. Such a formulation yields many properties of the estimate that were earlier impossible to study. In a recent work by Burger and Lucka (2014) the MAP estimator was studied in the context of Bayes cost method. Using Bregman distances, proper convex Bayes cost functions were introduced for which the MAP estimator is the Bayes estimator. Here, we generalize these results to the infinite-dimensional setting. Moreover, we discuss the implications of our results for some examples of prior models such as the Besov prior and hierarchical prior.

研究の動機と目的

• 無限次元かつ非ガウス型のベイズ逆問題における最大後確信度（MAP）推定の一般的な変分的枠組みの欠如を解消すること。
• 特に非ガウス型の設定において、MAP推定の位相的定義と変分的定式化との間の関係を確立すること。
• Bregman距離を用いて有限次元におけるベイズコストの結果を無限次元設定に一般化すること。
• MAP推定の離散化不変性を調査し、有限次元近似が無限次元極限に収束するための条件を明確にすること。
• 特定の事前分布モデル（ベゾフおよび階層的事前分布）における弱いMAP推定の役割を分析し、推論の安定性に与える影響を明らかにすること。

提案手法

• 対数微分と一般化されたオンサージャー＝マッハループ汎関数を用いて、測度の微分可能性と変分的最適化を結びつける、弱いMAP（wMAP）推定の概念を導入する。
• フォミンの微分法とスコロホドの擬不変性理論を用いて、事後測度の対数微分を定義する。
• wMAP推定が、データ適合性、事前正則化、および事後測度の双対変数を組み合わせた汎関数を最小化する変分的定式化を導出する。
• Bregman距離を用いて、wMAP推定がベイズ推定量となる適切な凸型ベイズコスト関数を構築し、有限次元の結果を拡張する。
• ダシュティら[8]の意味での標準的MAP推定はすべてwMAP推定であることが示され、2つの定義の間に階層的関係が確立される。
• 具体的な関数の最小化を用いて、2つの例（ベゾフ事前分布（p=1のスパarsityに注目）および階層的事前分布）におけるwMAP推定器を分析する。

実験結果

リサーチクエスチョン

• RQ1 無限次元のベイズ逆問題におけるMAP推定の位相的定義を、どのように変分的定式化に結びつけることができるか？
• RQ2 wMAP推定がダシュティら[8]の意味での強いMAP推定であるための条件は何か？
• RQ3 wMAP推定を用いることで、非ガウス型逆問題における離散化不変性を保証できるか？
• RQ4 Bregman距離は、どのようにしてwMAP推定を無限次元設定におけるベイズ推定量として可能にするか？
• RQ5 対数微分が連続でないp=1のベゾフ事前分布において、wMAP推定の挙動はいかなるものか？

主な発見

• wMAP推定は、事後測度の対数微分を含む変分的汎関数の最小化として定義され、位相的および変分的定式化の間の橋渡しを果たす。
• ダシュティら[8]の意味での標準的MAP推定はすべてwMAP推定であることが示され、2つの概念の間に階層的関係が確立される。
• Bregman距離を用いることで、wMAP推定がベイズコスト形式と整合的であることが示され、無限次元設定における有効なベイズ推定量であることが保証される。
• 階層的事前分布では、wMAP推定がデータ不適合性と未知数およびハイパーパrameterの共同正則化項を含む汎関数の最小化として得られる。
• ベゾフ事前分布におけるwMAP推定は、より小さな部分空間D(J) ⊂ D(μ)に属するため、より高い正則性と収束性の向上の可能性を示唆する。
• 解析により、p=1のベゾフの場合、対数微分が不連続であるためwMAP推定が存在しないか一意でない可能性があることが判明し、部分微分に類似した一般化された微分概念の導入が求められることが示唆される。