[论文解读] Bayesian Cramér-Rao Bound for Noisy Non-Blind and Blind Compressed Sensing

Hadi Zayyani, Massoud Babaie‐Zadeh+1 more|arXiv (Cornell University)|May 24, 2010

Sparse and Compressive Sensing Techniques参考文献 16被引用 6

一句话总结

本文推导了在噪声测量条件下非盲和盲压缩感知的贝叶斯Cramér-Rao下界（BCRB），为稀疏系数估计器的均方误差提供了理论下界。结果表明，实际算法在低测量率下显著低于该下界，凸显了根本性的性能差距。

ABSTRACT

In this paper, we address the theoretical limitations in reconstructing sparse signals (in a known complete basis) using compressed sensing framework. We also divide the CS to non-blind and blind cases. Then, we compute the Bayesian Cramer-Rao bound for estimating the sparse coefficients while the measurement matrix elements are independent zero mean random variables. Simulation results show a large gap between the lower bound and the performance of the practical algorithms when the number of measurements are low.

研究动机与目标

• 通过统计估计理论，建立压缩感知中稀疏信号重建的理论性能极限。
• 将Cramér-Rao下界扩展至贝叶斯框架，从而实现对有偏和无偏估计器的界限约束。
• 分析非盲CS（已知基和测量矩阵）与盲CS（未知基，未知测量矩阵）两种情形。
• 量化理论极限与实际算法在低测量率场景下的性能差距。

提出的方法

• 将贝叶斯Cramér-Rao下界（BCRB）定义为费雪信息矩阵的逆矩阵，结合数据与先验信息。
• 将费雪信息矩阵分解为依赖数据的（J_D）和依赖先验的（J_P）两部分。
• 使用高斯混合模型对稀疏系数进行建模，其中小方差分量用于近似伯努利-高斯先验。
• 通过在混合模型下解析计算对数先验的二阶导数，计算先验信息矩阵J_P。
• 利用变量替换和特殊函数（误差函数）对BCRB计算中出现的解析不可解积分进行解析求解。
• 将该下界应用于非盲和盲CS，其中在盲CS中测量矩阵未知，必须同时进行估计。

实验结果

研究问题

• RQ1 在噪声压缩感知中，稀疏系数恢复的估计误差理论下界是什么？
• RQ2 实际压缩感知算法的性能与该理论下界相比如何？
• RQ3 盲估计（测量矩阵未知）对可实现的估计精度有何影响？
• RQ4 在贝叶斯框架中，对稀疏性的先验假设（如伯努利-高斯分布）如何影响BCRB？

主要发现

• 贝叶斯Cramér-Rao下界为任何估计器（包括有偏估计器）在稀疏系数恢复中的均方误差提供了根本性下界。
• BCRB同时推导于非盲和盲压缩感知场景，两种情形具有不同的公式表达。
• 仿真结果表明，BCRB与实际算法之间存在显著性能差距，尤其在测量数较少时更为明显。
• 先验信息矩阵J_P近似为(1−p)/σ²，其中p为稀疏概率，σ为非零系数的方差。
• 数据信息矩阵J_D通过对数似然的二阶导数计算，涉及需借助误差函数和渐近近似方法求解的积分。