[論文レビュー] An equivalence between high dimensional Bayes optimal inference and M-estimation

Madhu Advani, Surya Ganguli|arXiv (Cornell University)|Sep 22, 2016

Distributed Sensor Networks and Detection Algorithms参考文献 18被引用数 5

ひとこと要約

本稿では、高次元におけるベイズ最適最小平均二乗誤差（MMSE）推定と、非線形に平滑化された損失関数および正則化関数を用いた新しいM推定量の間の同値性を確立し、凸最適化を用いることで最適MMSE性能が漸近的に達成可能であることを示している。主な貢献は、対数凹型の信号およびノイズ分布下で、計算的に実行可能なM推定量フレームワークに、計算不能なベイズ統合を置き換える構成的手法を提供することにある。

ABSTRACT

When recovering an unknown signal from noisy measurements, the computational difficulty of performing optimal Bayesian MMSE (minimum mean squared error) inference often necessitates the use of maximum a posteriori (MAP) inference, a special case of regularized M-estimation, as a surrogate. However, MAP is suboptimal in high dimensions, when the number of unknown signal components is similar to the number of measurements. In this work we demonstrate, when the signal distribution and the likelihood function associated with the noise are both log-concave, that optimal MMSE performance is asymptotically achievable via another M-estimation procedure. This procedure involves minimizing convex loss and regularizer functions that are nonlinearly smoothed versions of the widely applied MAP optimization problem. Our findings provide a new heuristic derivation and interpretation for recent optimal M-estimators found in the setting of linear measurements and additive noise, and further extend these results to nonlinear measurements with non-additive noise. We numerically demonstrate superior performance of our optimal M-estimators relative to MAP. Overall, at the heart of our work is the revelation of a remarkable equivalence between two seemingly very different computational problems: namely that of high dimensional Bayesian integration underlying MMSE inference, and high dimensional convex optimization underlying M-estimation. In essence we show that the former difficult integral may be computed by solving the latter, simpler optimization problem.

研究の動機と目的

• 高次元ベイズMMSE推定における計算不能性を解消すること。これは一般的に高次元積分のため、実行不可能である。
• 測定数が信号成分の数と同等に近い高次元設定において、MAP推定が部分的最適でないという問題を克服すること。
• 対数凹型の信号およびノイズ分布下で、漸近的に最適性能を達成する計算効率の良いMMSE推定の代替手法を開発すること。
• 線形かつ加法的ノイズモデルを超えて、非線形測定および非加法的ノイズへの同値性の拡張を図ること。
• 提案されたM推定量フレームワークの最適性について、ヒューリスティック的および数値的根拠を提供すること。

提案手法

• Moreauおよびガウス平滑化を用いて、標準的なMAP最適化の非線形に平滑化された損失関数および正則化関数を用いる、新しいM推定量フレームワークを提案する。
• 高次元において事後平均と漸近的に一致する凸最適化問題の解として、最適M推定量を導出する。
• 近似メッセージパッシング（AMP）ダイナミクスおよび状態遷移（SE）を用いて、提案推定量の性能を分析・検証する。
• レプリカ法および統計物理学的ヒューリスティクスを用いて、密なi.i.d.ガウス測定設定下で状態遷移方程式の正しさを正当化する。
• 一般化AMP（gAMP）フレームワークを用いて、最適M推定量の性能をMAPと比較してシミュレーション・検証する。
• 数値実験により、最適M推定量がMAPを著しく上回ることを示し、特に測定密度が低い場合に顕著である。

実験結果

リサーチクエスチョン

• RQ1 高次元におけるベイズ最適MMSE推定は、凸M推定量手順によって漸近的に達成可能か？
• RQ2 信号およびノイズ分布が対数凹型である場合、最適損失関数および正則化関数はどのような形をとるか？
• RQ3 有限の測定密度を持つ高次元設定下で、提案されたM推定量の性能はMAPと比べてどうなるか？
• RQ4 MMSE推定とM推定量の同値性は、線形かつ加法的ノイズモデルを超えて拡張可能か？
• RQ5 高次元推定における最適性能の達成に、平滑化（Moreauおよびガウス）が果たす役割は何か？

主な発見

• 提案されたM推定量フレームワークは、信号およびノイズ分布が対数凹型である高次元設定下で、漸近的に最適MMSE性能を達成する。
• 最適M推定量は、MAP目的関数の非線形に平滑化された凸損失関数および正則化関数を用いるため、計算が容易に可能である。
• 数値実験により、最適M推定量は特に測定密度が低い場合に、平均二乗誤差の観点でMAPを著しく上回ることが示された。
• M推定量の性能は、状態遷移（SE）解析によって正確に予測可能であり、密なi.i.d.ガウス測定設定下では正確であると信じられている。
• 一般化AMPアルゴリズムの時間計算量は、信号次元および測定回数の両方に対して線形にスケーリングされ、大規模問題に適している。
• 本手法は加法的ノイズおよび線形モデルに限定されず、同じ理論枠組みの下で非線形測定および非加法的ノイズへも一般化可能である。