[論文レビュー] Revisiting maximum-a-posteriori estimation in log-concave models: from differential geometry to decision theory

Marcelo Pereyra|arXiv (Cornell University)|Dec 19, 2016

Statistical Methods and Inference被引用数 2

ひとこと要約

この論文は、微分幾何学を用いて、負の対数後確度密度が誘導するBregman散発に基づく標準的な損失関数を定義することで、対数凸性を有するベイズモデルにおける最尤後確度（MAP）推定の意思決定理論的基礎を確立する。MAPがこの標準的損失を最小化することを示し、後確度平均が双対損失を最小化することを示すことで、MAP推定がベイズ意思決定理論において正当性を有することの長年の理論的曖昧さを解消する。

ABSTRACT

Maximum-a-posteriori (MAP) estimation is the main Bayesian estimation methodology in imaging sciences, where high dimensionality is often addressed by using Bayesian models that are log-concave and whose posterior mode can be computed efficiently by convex optimisation. Despite its success and wide adoption, MAP estimation is not theoretically well understood yet. The prevalent view in the community is that MAP estimation is not proper Bayesian estimation in a decision-theoretic sense because it does not minimise a meaningful expected loss function (unlike the minimum mean squared error (MMSE) estimator that minimises the mean squared loss). This paper addresses this theoretical gap by presenting a decision-theoretic derivation of MAP estimation in Bayesian models that are log-concave. A main novelty is that our analysis is based on differential geometry, and proceeds as follows. First, we use the underlying convex geometry of the Bayesian model to induce a Riemannian geometry on the parameter space. We then use differential geometry to identify the so-called natural or canonical loss function to perform Bayesian point estimation in that Riemannian manifold. For log-concave models, this canonical loss is the Bregman divergence associated with the negative log posterior density. We then show that the MAP estimator is the only Bayesian estimator that minimises the expected canonical loss, and that the posterior mean or MMSE estimator minimises the dual canonical loss. We also study the question of MAP and MSSE estimation performance in large scales and establish a universal bound on the expected canonical error as a function of dimension, offering new insights into the good performance observed in convex problems. These results provide a new understanding of MAP and MMSE estimation in log-concave settings, and of the multiple roles that convex geometry plays in imaging problems.

研究の動機と目的

• ベイズ統計におけるMAP推定の理論的曖昧さ、特に意思決定理論枠組み内での正当性の欠如と見なされる問題を解消すること。
• 凸幾何学に基づくリーマン幾何学を用いて、対数凸性モデルにおけるベイズ点推定の原理的損失関数を同定すること。
• 対数凸性モデルにおいて、MAP推定が負の対数後確度密度から導かれる標準的損失関数を最小化することを示すこと。
• 次元が高次である設定において、MAP推定とMMSE推定の性能を、期待される標準的誤差に関する普遍的上限を用いて比較すること。
• 画像処理問題における凸幾何学の二重の役割を明らかにし、推定とパrameter空間の幾何的構造を結びつけること。

提案手法

• 対数凸性ベイズモデルに内在する凸幾何学を用いて、パrameter空間にリーマン幾何学を誘導すること。
• 負の対数後確度密度に関連するBregman散発として、リーマン多様体上に標準的損失関数を定義すること。
• MAP推定が、ベイズ意思決定理論的意味で、この標準的損失関数の唯一の最小化者であることを示すこと。
• 双対標準的損失関数を導出し、後確度平均（MMSE推定）がこの双対損失を最小化することを証明すること。
• すべての対数凸性モデルに対して有効である、パrameter空間の次元に依存する期待される標準的誤差の普遍的上界を確立すること。
• 微分幾何学的ツールを用いて、高次元設定における推定誤差の挙動を分析すること。

実験結果

リサーチクエスチョン

• RQ1 対数凸性モデルにおいて、MAP推定は意思決定理論的枠組み内で形式的に正当化可能か？
• RQ2 幾何的ベイズ設定において、MAP推定を最適化する標準的損失関数は何か？
• RQ3 対数凸性モデルにおいて、MAP推定の性能は次元とともにどのようにスケーリングするか？
• RQ4 MAP推定と後確度平均の間には、双対損失関数を最小化するという観点でどのような関係があるか？
• RQ5 凸幾何学は、パrameter空間の構造とそれによる推定理論にどのように影響を与えるか？

主な発見

• MAP推定は、対数凸性モデルにおいて、負の対数後確度密度のBregman散発として定義される標準的損失関数を最小化する、唯一のベイズ点推定である。
• 後確度平均（MMSE推定）は双対標準的損失関数を最小化する。これにより、この幾何的枠組みにおいてMAPとMMSE推定の双対性が確立される。
• MAP推定の期待される標準的誤差に対する普遍的上界が導出され、これはパrameter空間の次元に依存し、すべての対数凸性モデルに適用可能である。
• 標準的損失関数は、対数凸性モデルの凸構造から誘導されるリーマン幾何学から自然に生じる。これにより、MAP推定の幾何的正当性が得られる。
• 解析により、凸幾何学が高次元画像処理問題におけるMAP推定の計算的実行可能性と理論的正当性の両方を支えていることが明らかになった。
• MAP推定が正しい意思決定理論的損失関数で評価された場合、MAP推定は適切なベイズ手順であることが示されたことで、長年の理論的ギャップが解消された。