[论文解读] Bregman Cost for Non-Gaussian Noise

Martin Burger, Yiqiu Dong+1 more|arXiv (Cornell University)|Aug 26, 2016

Statistical Methods and Inference参考文献 22被引用 4

一句话总结

本文为具有对数凹似然密度的非高斯噪声模型引入了新颖的Bregman损失函数，证明了在这些损失下，条件均值（CM）和最大后验概率（MAP）估计均为合适的贝叶斯估计。此外，研究进一步表明，当误差以正则化项诱导的Bregman距离衡量时，CM估计优于MAP估计，该结果超越了高斯噪声模型的范围。

ABSTRACT

One of the tasks of the Bayesian inverse problem is to find a good estimate based on the posterior probability density. The most common point estimators are the conditional mean (CM) and maximum a posteriori (MAP) estimates, which correspond to the mean and the mode of the posterior, respectively. From a theoretical point of view it has been argued that the MAP estimate is only in an asymptotic sense a Bayes estimator for the uniform cost function, while the CM estimate is a Bayes estimator for the means squared cost function. Recently, it has been proven that the MAP estimate is a proper Bayes estimator for the Bregman cost if the image is corrupted by Gaussian noise. In this work we extend this result to other noise models with log-concave likelihood density, by introducing two related Bregman cost functions for which the CM and the MAP estimates are proper Bayes estimators. Moreover, we also prove that the CM estimate outperforms the MAP estimate, when the error is measured in a certain Bregman distance, a result previously unknown also in the case of additive Gaussian noise.

研究动机与目标

• 将贝叶斯反问题的理论基础从加性高斯噪声扩展到具有对数凹似然密度的一般非高斯噪声模型。
• 识别在非高斯噪声下CM与MAP估计为贝叶斯估计的新型损失函数。
• 利用Bregman距离比较CM与MAP估计的性能，尤其在非高斯噪声下的表现。
• 建立CM估计在特定Bregman距离下期望最优的条件。

提出的方法

• 基于凸函数与次梯度，提出两种新的Bregman损失函数——一种用于CM估计，一种用于MAP估计。
• 利用Bregman距离框架定义损失函数，使得在一般对数凹似然下CM与MAP成为合适的贝叶斯估计。
• 应用贝叶斯估计理论，表明CM估计最小化线性组合Bregman距离的期望损失。
• 推导CM估计在Bregman距离期望意义下优于MAP估计的条件。
• 采用以MAP为中心的后验形式，分析CM估计的最优性条件。
• 证明对于任意具有有限后验期望的凸函数Bregman距离的线性组合损失函数，CM估计均为贝叶斯估计。

实验结果

研究问题

• RQ1 能否在具有对数凹似然密度的非高斯噪声模型下，证明CM与MAP估计为合适的贝叶斯估计？
• RQ2 在非高斯噪声下，CM与MAP估计在贝叶斯意义下最优的合适损失函数是什么？
• RQ3 当误差以Bregman距离衡量时，CM估计与MAP估计的性能如何比较？
• RQ4 在何种条件下CM估计在期望Bregman距离下优于MAP估计？
• RQ5 CM估计的损失函数能否如高斯情形中那样与先验和似然无关？

主要发现

• CM估计是任意损失函数的贝叶斯估计，只要该损失函数是具有有限后验期望的凸函数Bregman距离的线性组合。
• 在对数凹似然下，MAP估计是基于数据保真项与正则化项导出的Bregman损失函数的贝叶斯估计。
• 当误差以正则化项诱导的Bregman距离衡量时，CM估计优于MAP估计，即 $\mathbb{E}[D_R(u, \hat{u}_{\text{CM}})] \leq \mathbb{E}[D_R(u, \hat{u}_{\text{MAP}})]$。
• CM估计的损失函数可与先验和似然无关，这是高斯情形下已知结果的推广。
• CM在Bregman距离下优于MAP的结果与高斯情形相反，在高斯情形下MAP在相同误差度量下占优，凸显了非高斯设定下的关键差异。
• 所提出的Bregman损失框架将CM与MAP估计的理论有效性从高斯噪声推广至一大类非高斯、对数凹噪声模型。