[论文解读] Cross Validation in Compressed Sensing via the Johnson Lindenstrauss Lemma

Rachel Ward|arXiv (Cornell University)|Mar 12, 2008

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种在压缩感知中使用Johnson-Lindenstrauss引理的交叉验证方法，以极低的计算开销界定估计误差。通过预留4log(p)组测量值用于验证，该方法可在p个稀疏度k值下对稀疏信号的重建实现高概率误差界，且几乎不增加标准解码之外的额外成本，从而获得精确的误差估计。

ABSTRACT

Compressed Sensing decoding algorithms can efficiently recover an N dimensional real-valued vector x to within a factor of its best k-term approximation by taking m = 2klog(N/k) measurements y = Phi x. If the sparsity or approximate sparsity level of x were known, then this theoretical guarantee would imply quality assurance of the resulting compressed sensing estimate. However, because the underlying sparsity of the signal x is unknown, the quality of a compressed sensing estimate x* using m measurements is not assured. Nevertheless, we demonstrate that sharp bounds on the error || x - x* ||_2 can be achieved with almost no effort. More precisely, we assume that a maximum number of measurements m is pre-imposed; we reserve 4log(p) of the original m measurements and compute a sequence of possible estimates (x_j)_{j=1}^p to x from the m - 4log(p) remaining measurements; the errors ||x - x*_j ||_2 for j = 1, ..., p can then be bounded with high probability. As a consequence, numerical upper and lower bounds on the error between x and the best k-term approximation to x can be estimated for p values of k with almost no cost. Our observation has applications outside of compressed sensing as well.

研究动机与目标

• 解决当信号真实稀疏度水平未知时压缩感知中缺乏质量保证的问题。
• 在不增加测量成本的前提下，实现压缩感知重建的可靠误差估计。
• 开发一种方法，仅使用少量测量值即可对重建误差||x - x*||₂提供精确且高概率的界。
• 以可忽略的额外计算成本，实现对p个值下多个稀疏度水平k的误差界估计。
• 将误差估计的适用性从压缩感知扩展至其他高维恢复问题。

提出的方法

• 从总测量数m中预留4log(p)组测量值用于交叉验证。
• 利用剩余的m - 4log(p)组测量值，为不同稀疏度水平k计算p个候选重建解(x*_j)。
• 应用Johnson-Lindenstrauss引理，建立误差||x - x*_j||₂以高概率集中在其期望值附近的性质。
• 利用Johnson-Lindenstrauss引理的降维特性，以高置信度界定真实信号与其重建之间误差的界。
• 通过分析p组验证估计值，同时估计误差相对于最优k项逼近的上下界。
• 利用预留的测量值对误差界进行验证与校准，而无需额外获取信号。

实验结果

研究问题

• RQ1 当真实稀疏度水平未知时，能否在压缩感知重建中实现精确且高概率的误差界？
• RQ2 如何以最小的额外测量与计算成本，对多个稀疏度水平k估计误差界？
• RQ3 Johnson-Lindenstrauss引理在仅使用少量测量值的情况下，能在多大程度上用于验证压缩感知重建？
• RQ4 在事先未知k值的情况下，能否可靠估计信号与其最优k项逼近之间的误差？
• RQ5 在压缩感知中实现基于交叉验证的误差估计，所需的最小测量开销是多少？

主要发现

• 该方法仅使用4log(p)组预留测量值，即可实现对重建误差||x - x*||₂的高概率界，其开销在渐近意义下可忽略不计。
• 对p个不同稀疏度水平k的误差界估计，几乎不增加标准压缩感知解码之外的额外成本。
• Johnson-Lindenstrauss引理使得能够推导出关于重建质量的精确、非渐近误差界。
• 该方法可实现相对于最优k项逼近的误差上下界之可靠估计。
• 该方法为压缩感知提供了实用的质量保证框架，即使真实稀疏度水平未知亦适用。
• 该技术具有普适性，可推广至压缩感知之外的其他高维信号恢复问题。