[论文解读] Maximum a posteriori probability estimates in infinite-dimensional Bayesian inverse problems

Tapio Helin, Martin Burger|arXiv (Cornell University)|Dec 18, 2014

Markov Chains and Monte Carlo Methods参考文献 15被引用 5

一句话总结

本文引入了弱最大后验概率（wMAP）估计，作为无限维贝叶斯反问题中最大后验概率估计的变分表征，将拓扑定义与变分公式联系起来。它证明了wMAP估计推广了标准MAP估计，并实现了对非高斯先验（如Besov和层次模型）下离散化不变性与贝叶斯损失一致性的严格分析。

ABSTRACT

A demanding challenge in Bayesian inversion is to efficiently characterize the posterior distribution. This task is problematic especially in high-dimensional non-Gaussian problems, where the structure of the posterior can be very chaotic and difficult to analyse. Current inverse problem literature often approaches the problem by considering suitable point estimators for the task. Typically the choice is made between the maximum a posteriori (MAP) or the conditional mean (CM) estimate. The benefits of either choice are not well-understood from the perspective of infinite-dimensional theory. Most importantly, there exists no general scheme regarding how to connect the topological description of a MAP estimate to a variational problem. The results by Dashti et. al. (2013) resolve this issue for non-linear inverse problems in Gaussian framework. In this work we improve the current understanding by introducing a novel concept called the weak MAP (wMAP) estimate. We show that any MAP estimate in the sense of Dashti et. al. (2013) is a wMAP estimate and, moreover, how in general infinite-dimensional non-Gaussian problems the wMAP estimate connects to a variational formulation. Such a formulation yields many properties of the estimate that were earlier impossible to study. In a recent work by Burger and Lucka (2014) the MAP estimator was studied in the context of Bayes cost method. Using Bregman distances, proper convex Bayes cost functions were introduced for which the MAP estimator is the Bayes estimator. Here, we generalize these results to the infinite-dimensional setting. Moreover, we discuss the implications of our results for some examples of prior models such as the Besov prior and hierarchical prior.

研究动机与目标

• 解决无限维、非高斯贝叶斯反问题中最大后验概率（MAP）估计缺乏通用变分框架的问题。
• 建立MAP估计的拓扑定义与变分公式的联系，特别是在非高斯设定下。
• 利用Bregman距离将有限维贝叶斯损失结果推广至无限维设定。
• 研究MAP估计的离散化不变性，并阐明有限维近似收敛至无限维极限的条件。
• 分析弱MAP估计在特定先验模型（包括Besov和层次先验）中的作用及其对推理稳定性的意义。

提出的方法

• 通过对数导数和广义Onsager–Machlup泛函引入弱MAP（wMAP）估计的概念，将测度可微性与变分优化联系起来。
• 利用Fomin的可微性微积分和Skorohod的拟不变性理论，定义后验测度的对数导数。
• 推导出一种变分公式，其中wMAP估计最小化一个结合数据保真度、先验正则化和后验测度对偶变量的泛函。
• 应用Bregman距离构造合适的凸贝叶斯损失函数，使得wMAP估计成为贝叶斯估计器，从而扩展有限维结果。
• 证明了Dashti等人[8]意义上的任何标准MAP估计都是wMAP估计，建立了两种定义之间的层级关系。
• 在两个例子中分析wMAP估计器：Besov先验（重点关注p=1稀疏性）和层次先验，采用显式泛函最小化。

实验结果

研究问题

• RQ1 如何将无限维贝叶斯反问题中MAP估计的拓扑定义与变分公式联系起来？
• RQ2 在何种条件下，wMAP估计也是[8]意义下的强MAP估计？
• RQ3 wMAP估计能否用于确保非高斯反问题中的离散化不变性？
• RQ4 Bregman距离如何使wMAP估计在无限维设定下成为贝叶斯估计器？
• RQ5 对于p=1 Besov先验，其中对数导数缺乏连续性，wMAP估计的行为如何？

主要发现

• wMAP估计被定义为涉及后验测度对数导数的变分泛函的最小化器，为拓扑与变分公式之间提供了桥梁。
• Dashti等人[8]意义上的任何标准MAP估计都是wMAP估计，建立了两者之间的层级关系。
• 当使用Bregman距离时，wMAP估计与贝叶斯损失形式一致，使其在无限维设定下成为有效的贝叶斯估计器。
• 对于层次先验，wMAP估计通过最小化一个包含数据不匹配项和未知量与超参数联合正则化项的泛函获得。
• Besov先验的wMAP估计属于更小的子空间D(J) ⊂ D(μ)，表明其具有更强的正则性，可能带来更好的收敛性质。
• 分析表明，由于对数导数不连续，p=1 Besov情形下wMAP估计可能不存在或不唯一，提示需要类似次微分的广义导数概念。