[论文解读] An Estimation Theoretic Approach for Sparsity Pattern Recovery in the Noisy Setting

Ali Hormati, Amin Karbasi+2 more|ArXiv.org|Nov 25, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用 11

一句话总结

本文提出了一种估计理论框架，用于在噪声压缩感知中恢复稀疏性模式，利用Hammersley-Chapman-Robbins（HCR）界推导出支持恢复性能的根本极限。结果表明，在特定条件下，最大似然估计器（MLE）可达到HCR界，与理论极限之间仅有9 dB的差距，并为高斯测量矩阵提供了可靠的恢复的紧致充分条件。

ABSTRACT

Compressed sensing deals with the reconstruction of sparse signals using a small number of linear measurements. One of the main challenges in compressed sensing is to find the support of a sparse signal. In the literature, several bounds on the scaling law of the number of measurements for successful support recovery have been derived where the main focus is on random Gaussian measurement matrices. In this paper, we investigate the noisy support recovery problem from an estimation theoretic point of view, where no specific assumption is made on the underlying measurement matrix. The linear measurements are perturbed by additive white Gaussian noise. We define the output of a support estimator to be a set of position values in increasing order. We set the error between the true and estimated supports as the $\ell_2$-norm of their difference. On the one hand, this choice allows us to use the machinery behind the $\ell_2$-norm error metric and on the other hand, converts the support recovery into a more intuitive and geometrical problem. First, by using the Hammersley-Chapman-Robbins (HCR) bound, we derive a fundamental lower bound on the performance of any \emph{unbiased} estimator of the support set. This lower bound provides us with necessary conditions on the number of measurements for reliable $\ell_2$-norm support recovery, which we specifically evaluate for uniform Gaussian measurement matrices. Then, we analyze the maximum likelihood estimator and derive conditions under which the HCR bound is achievable. This leads us to the number of measurements for the optimum decoder which is sufficient for reliable $\ell_2$-norm support recovery. Using this framework, we specifically evaluate sufficient conditions for uniform Gaussian measurement matrices.

研究动机与目标

• 在存在加性白高斯噪声的情况下，建立对稀疏信号支持的无偏估计器的根本性能极限。
• 在ℓ₂-范数误差度量下，分析最大似然估计器（MLE）在支持恢复精度方面的性能。
• 推导出可靠ℓ₂-范数支持恢复所需的测量次数的必要和充分条件，特别是针对i.i.d.高斯测量矩阵。
• 通过HCR界量化最优译码器性能与理论下限之间的差距。

提出的方法

• 作者将支持恢复问题建模为参数估计任务，其中误差定义为真实支持集与估计支持集之间差值的ℓ₂-范数。
• 应用Hammersley-Chapman-Robbins（HCR）界，推导出任何无偏支持集估计器方差的根本下限，适用于一般测量矩阵。
• 将分析专门化到i.i.d.高斯测量矩阵，从而显式评估所需的测量尺度律。
• 分析最大似然估计器（MLE）的性能，以确定其在何种条件下变为无偏并达到HCR界。
• 利用噪声能量的卡方分布对MLE的误差概率进行上界估计，从而得出误差概率的上界。
• 引入一个可区分性因子β，用于表征支持集之间的分离程度，误差上界以β和测量次数m表示。

实验结果

研究问题

• RQ1 在噪声压缩感知中，对稀疏性模式的无偏估计器，其ℓ₂-范数误差的根本下限是什么？
• RQ2 在何种条件下，最大似然估计器可达到该下限？
• RQ3 对于高斯测量矩阵，可靠ℓ₂-范数支持恢复所需的最少测量次数是多少？
• RQ4 在信噪比方面，最优译码器性能与理论极限之间的性能差距是多少？

主要发现

• Hammersley-Chapman-Robbins（HCR）界为任何无偏支持集估计器的ℓ₂-范数误差提供了根本下限，且与测量矩阵结构无关。
• 对于i.i.d.高斯测量矩阵，所需测量次数的必要条件与稀疏度k和信噪比相关，该结果由HCR界推导得出。
• 在特定条件下，最大似然估计器（MLE）可达到HCR界，使其在无偏意义下对支持恢复具有最优性。
• 结果表明，最优译码器性能与HCR下限之间的差距仅为9 dB，表明其接近理论最优性能。
• MLE的误差概率上界由不完全伽马函数表达，且随测量次数m呈指数衰减。
• 推导出的可靠恢复充分条件是紧致的，且显式依赖于可区分性因子β，该因子捕捉了测量空间中支持集之间的分离程度。