[論文レビュー] Bregman Cost for Non-Gaussian Noise

Martin Burger, Yiqiu Dong+1 more|arXiv (Cornell University)|Aug 26, 2016

Statistical Methods and Inference参考文献 22被引用数 4

ひとこと要約

本稿は、対数凹型尤度を有する非ガウス型ノイズモデルに対して、新たなブレグマンコスト関数を導入し、条件付き平均（CM）推定と最大後確信度（MAP）推定が、これらのコスト関数のもとで適切なベイズ推定量であることを証明する。さらに、誤差が正則化関数によって誘導されるブレグマン距離で測定されるとき、CM推定がMAP推定を上回ることを示しており、これはガウス型ノイズモデルを超える結果である。

ABSTRACT

One of the tasks of the Bayesian inverse problem is to find a good estimate based on the posterior probability density. The most common point estimators are the conditional mean (CM) and maximum a posteriori (MAP) estimates, which correspond to the mean and the mode of the posterior, respectively. From a theoretical point of view it has been argued that the MAP estimate is only in an asymptotic sense a Bayes estimator for the uniform cost function, while the CM estimate is a Bayes estimator for the means squared cost function. Recently, it has been proven that the MAP estimate is a proper Bayes estimator for the Bregman cost if the image is corrupted by Gaussian noise. In this work we extend this result to other noise models with log-concave likelihood density, by introducing two related Bregman cost functions for which the CM and the MAP estimates are proper Bayes estimators. Moreover, we also prove that the CM estimate outperforms the MAP estimate, when the error is measured in a certain Bregman distance, a result previously unknown also in the case of additive Gaussian noise.

研究の動機と目的

• 加法的ガウス型ノイズにとどまらない、一般の非ガウス型ノイズモデル（対数凹型尤度密度を有する）へのベイズ逆問題の理論的基盤を拡張すること。
• 非ガウス型ノイズのもとで、CMおよびMAP推定が適切なベイズ推定量となるような新たなコスト関数を同定すること。
• 非ガウス型ノイズのもとで、ブレグマン距離を用いてCMおよびMAP推定の性能を比較すること。
• 特定のブレグマン距離に関して、CM推定が期待値として最適である条件を確立すること。

提案手法

• 凸関数と劣勾配に基づき、CM推定とMAP推定のそれぞれに対して2つの新しいブレグマンコスト関数を導入する。
• ブレグマン距離フレームワークを用いて、一般の対数凹型尤度のもとでCMおよびMAPが適切なベイズ推定量となるコスト関数を定義する。
• ベイズ推定量の理論を適用し、CM推定が、ブレグマン距離の線形結合の期待コストを最小化することを示す。
• CM推定が真の解との期待ブレグマン距離においてMAP推定を上回る条件を導出する。
• MAP中心の形式における事後分布を用いて、CM推定量の最適性条件を分析する。
• CM推定が、有限な事後期待値を有する凸関数のブレグマン距離の線形結合である任意のコスト関数に対してベイズ推定量であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 対数凹型尤度を有する非ガウス型ノイズモデルのもとで、CMおよびMAP推定が適切なベイズ推定量であることを示せるか？
• RQ2 非ガウス型ノイズのもとで、CMおよびMAP推定がベイズ的意味で最適となる適切なコスト関数は何か？
• RQ3 誤差がブレグマン距離で測定されるとき、CM推定の性能はMAP推定と比べてどうなるか？
• RQ4 期待ブレグマン距離の観点で、CM推定がMAP推定を上回る条件は何か？
• RQ5 CM推定量のコスト関数は、事前分布および尤度に依存しないものとできるのだろうか？（ガウス型の場合に知られている結果の一般化）

主な発見

• CM推定は、有限な事後期待値を有する凸関数のブレグマン距離の線形結合である任意のコスト関数に対してベイズ推定量である。
• MAP推定は、対数凹型尤度のもとで、データ適合項と正則化項から導かれるブレグマンコスト関数に対してベイズ推定量である。
• 誤差が正則化関数によって誘導されるブレグマン距離で測定されるとき、CM推定がMAP推定を上回る。すなわち、$\mathbb{E}[D_R(u, \hat{u}_{\text{CM}})] \leq \mathbb{E}[D_R(u, \hat{u}_{\text{MAP}})]$ が成り立つ。
• CM推定量のコスト関数は、事前分布および尤度に依存しないものとでき、これはガウス型の場合に知られている結果の一般化である。
• CMがブレグマン距離においてMAPを上回るという結果は、ガウス型の場合とは対照的であり、非ガウス型設定における重要な相違点を示している。
• 提案されたブレグマンコストフレームワークにより、CMおよびMAP推定の理論的有効性が、ガウス型ノイズにとどまらず、広範な非ガウス型対数凹型ノイズモデルへと拡張された。