[论文解读] Empirical Bayes and Full Bayes for Signal Estimation

Yanting Ma, Jin Tan+2 more|arXiv (Cornell University)|May 8, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用 9

一句话总结

本文在经验贝叶斯（EB）与全贝叶斯（FB）框架下提出了一种混合去噪器（MixD），用于在未知参数先验下的信号估计。通过结合全贝叶斯方法对参数的后验不确定性，并利用近似消息传递（AMP）技术，MixD 实现了接近最小均方误差（MMSE）的性能，尤其在小到中等信号维度下，其收敛速度和精度均优于插值型EB方法。

ABSTRACT

We consider signals that follow a parametric distribution where the parameter values are unknown. To estimate such signals from noisy measurements in scalar channels, we study the empirical performance of an empirical Bayes (EB) approach and a full Bayes (FB) approach. We then apply EB and FB to solve compressed sensing (CS) signal estimation problems by successively denoising a scalar Gaussian channel within an approximate message passing (AMP) framework. Our numerical results show that FB achieves better performance than EB in scalar channel denoising problems when the signal dimension is small. In the CS setting, the signal dimension must be large enough for AMP to work well; for large signal dimensions, AMP has similar performance with FB and EB.

研究动机与目标

• 解决当信号的参数化先验分布形式已知但参数未知时，在标量和矩阵信道中的信号估计问题。
• 比较经验贝叶斯（EB）与全贝叶斯（FB）方法在从噪声测量中估计信号时的性能表现。
• 开发并评估一种混合去噪器（MixD），通过全贝叶斯方法整合参数不确定性，以提升估计精度。
• 将在近似消息传递（AMP）框架内应用MixD框架，以解决压缩感知（CS）应用中的未知信号先验问题。
• 评估MixD与插值型EB估计器在估计精度与计算速度之间的权衡。

提出的方法

• 提出一种全贝叶斯（FB）方法，为未知参数向量 $\theta$ 赋予先验分布，从而能够计算后验 $f(\theta|{\bf y})$。
• 引入一种混合去噪器（MixD），通过将所有可能的 $\theta$ 值的估计结果按 $f(\theta|{\bf y})$ 加权平均，以考虑参数不确定性。
• 在近似消息传递（AMP）框架内应用MixD，以解决具有未知信号先验的压缩感知（CS）问题。
• 在插值型EB方法中使用最大似然（ML）估计进行参数估计，随后将结果输入贝叶斯估计器。
• 在AMP中引入标量高斯信道去噪步骤，以迭代方式优化信号估计。
• 通过已知噪声方差但未知信号参数的伯努利分布与伯努利-高斯（BG）信号模型验证性能。

实验结果

研究问题

• RQ1 在小到中等信号维度下，全贝叶斯混合去噪器（MixD）与经验贝叶斯（EB）插值方法在均方误差（MSE）上的表现如何比较？
• RQ2 当真实先验参数未知时，MixD方法能否实现接近最小均方误差（MMSE）的性能？
• RQ3 随着信号维度 $N$ 增加，MixD与EB方法的性能如何变化？
• RQ4 在具有未知参数化先验的压缩感知设置下，AMP-MixD的性能表现如何？
• RQ5 MixD的计算复杂度与更快的插值型EB方法相比如何？精度与速度之间的权衡是什么？

主要发现

• 在小信号维度下（$N \approx 15$），MixD 的额外MSE仅为MMSE的 $1.5 \cdot 10^{-3}$，而插值型EB方法需达到 $N \approx 40$ 才能实现相同性能。
• 随着信号维度 $N$ 增大，MixD与插值型EB方法均渐近逼近理论MMSE，额外MSE趋近于零。
• 在 $N=10,000$（伯努利）和 $N=5,000$（BG）的压缩感知设置下，AMP-MixD在不同测量数 $M$ 下的信噪比（SNR）与理论最优MMSE极为接近。
• 在伯努利与BG输入情况下，AMP-MixD性能均非常接近理论MMSE，SNR范围为5–25 dB，$M$ 从1,000到7,000不等。
• 插值型EB方法的运行速度优于MixD，表明存在精度与计算速度之间的权衡。
• 对于BG信号，MixD在低维区域相对于插值型EB方法表现出尤为显著的性能提升。