[论文解读] An equivalence between high dimensional Bayes optimal inference and M-estimation

Madhu Advani, Surya Ganguli|arXiv (Cornell University)|Sep 22, 2016

Distributed Sensor Networks and Detection Algorithms参考文献 18被引用 5

一句话总结

本文建立了高维贝叶斯最优最小均方误差（MMSE）推理与一种新型M-估计方法之间的等价性，表明通过使用非线性平滑损失函数和正则化函数的凸优化，可以渐近地实现最优MMSE性能。关键贡献在于提出了一种构造性方法，在信号和噪声分布为对数凹分布时，用计算上可行的M-estimation框架替代难以处理的贝叶斯积分。

ABSTRACT

When recovering an unknown signal from noisy measurements, the computational difficulty of performing optimal Bayesian MMSE (minimum mean squared error) inference often necessitates the use of maximum a posteriori (MAP) inference, a special case of regularized M-estimation, as a surrogate. However, MAP is suboptimal in high dimensions, when the number of unknown signal components is similar to the number of measurements. In this work we demonstrate, when the signal distribution and the likelihood function associated with the noise are both log-concave, that optimal MMSE performance is asymptotically achievable via another M-estimation procedure. This procedure involves minimizing convex loss and regularizer functions that are nonlinearly smoothed versions of the widely applied MAP optimization problem. Our findings provide a new heuristic derivation and interpretation for recent optimal M-estimators found in the setting of linear measurements and additive noise, and further extend these results to nonlinear measurements with non-additive noise. We numerically demonstrate superior performance of our optimal M-estimators relative to MAP. Overall, at the heart of our work is the revelation of a remarkable equivalence between two seemingly very different computational problems: namely that of high dimensional Bayesian integration underlying MMSE inference, and high dimensional convex optimization underlying M-estimation. In essence we show that the former difficult integral may be computed by solving the latter, simpler optimization problem.

研究动机与目标

• 为解决高维贝叶斯MMSE推理的计算不可行性，该问题通常因高维积分而难以处理。
• 克服在测量数与信号分量数量相当时MAP估计在高维设置下的次优性。
• 开发一种计算高效的MMSE推理替代方法，在对数凹信号和噪声分布下渐近实现最优性能。
• 将等价性从线性、加性噪声模型扩展至非线性测量和非加性噪声。
• 为所提出的M-估计框架在高维极限下的最优性提供启发式和数值上的支持。

提出的方法

• 提出一种新的M-估计框架，其中损失函数和正则化函数是标准MAP优化的非线性平滑版本，采用Moreau和高斯平滑方法。
• 将最优M-估计器定义为一个凸优化问题的解，其在高维下渐近匹配后验均值。
• 利用近似消息传递（AMP）动力学和状态演化（SE）分析所提出估计器的性能并加以验证。
• 借助复制法和统计物理启发式方法，证明在密集i.i.d.高斯测量设置下，状态演化方程的正确性。
• 应用广义AMP（gAMP）框架进行仿真，验证最优M-估计器相对于MAP的性能。
• 证明在数值实验中，最优M-估计器在低测量密度下显著优于MAP。

实验结果

研究问题

• RQ1 高维贝叶斯最优MMSE推理是否可通过凸M-估计过程渐近实现？
• RQ2 当信号和噪声分布为对数凹分布时，最优损失函数和正则化函数的形式是什么？
• RQ3 在测量密度有限的高维设置下，所提出的M-估计器与MAP的性能相比如何？
• RQ4 MMSE推理与M-估计之间的等价性是否可扩展至非线性测量和非加性噪声模型？
• RQ5 在高维估计中，平滑化（Moreau和高斯平滑）在实现最优性能中起什么作用？

主要发现

• 所提出的M-估计框架在信号和噪声分布为对数凹分布时，可在高维设置下渐近实现最优MMSE性能。
• 最优M-估计器使用凸损失和正则化函数，这些函数是MAP目标的非线性平滑版本，从而实现可计算的优化。
• 数值实验表明，最优M-估计器在均方误差方面显著优于MAP，尤其在低测量密度下。
• M-估计器的性能可被状态演化（SE）分析准确预测，该分析在密集i.i.d.高斯测量设置下被认为精确。
• 广义AMP算法的时间复杂度在信号维度和测量数上均呈线性增长，适用于大规模问题。
• 该方法可推广至加性噪声和线性模型之外，适用于非线性测量和非加性噪声，且在相同理论框架下成立。