[论文解读] Estimating Unknown Sparsity in Compressed Sensing

Miles E. Lopes|arXiv (Cornell University)|Apr 19, 2012

Sparse and Compressive Sensing Techniques参考文献 44被引用 13

一句话总结

该论文提出了一种数据驱动方法，仅使用少量线性测量即可在压缩感知中估计一个稳定的稀疏度度量 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $，且无需事先假设信号的稀疏性。该方法提供了宽度与信号维度 $ p $ 无关的 $ s(x) $ 置信区间，并证明了当 $ n \ll p $ 时，随机测量是必不可少的，因为确定性测量会导致较大的极小极大风险。

ABSTRACT

In the theory of compressed sensing (CS), the sparsity ||x||_0 of the unknown signal x\in\R^p is commonly assumed to be a known parameter. However, it is typically unknown in practice. Due to the fact that many aspects of CS depend on knowing ||x||_0, it is important to estimate this parameter in a data-driven way. A second practical concern is that ||x||_0 is a highly unstable function of x. In particular, for real signals with entries not exactly equal to 0, the value ||x||_0=p is not a useful description of the effective number of coordinates. In this paper, we propose to estimate a stable measure of sparsity s(x):=||x||_1^2/||x||_2^2, which is a sharp lower bound on ||x||_0. Our estimation procedure uses only a small number of linear measurements, does not rely on any sparsity assumptions, and requires very little computation. A confidence interval for s(x) is provided, and its width is shown to have no dependence on the signal dimension p. Moreover, this result extends naturally to the matrix recovery setting, where a soft version of matrix rank can be estimated with analogous guarantees. Finally, we show that the use of randomized measurements is essential to estimating s(x). This is accomplished by proving that the minimax risk for estimating s(x) with deterministic measurements is large when n<

研究动机与目标

• 解决压缩感知中的关键空白：尽管理论上假设已知，但实际中真实稀疏度 $ \|x\|_0 $ 通常未知。
• 通过引入一个稳定替代度量 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $，克服 $ \|x\|_0 $ 在非精确零值信号中不稳定的缺陷。
• 开发一种计算高效的估计程序，仅使用少量线性测量且无需稀疏性假设。
• 提供一个宽度不依赖于信号维度 $ p $ 的 $ s(x) $ 置信区间，确保在高维设置下的鲁棒性。
• 证明随机测量是准确估计所必需的，证明当 $ n \ll p $ 时，确定性测量矩阵的极小极大风险极大。

提出的方法

• 提出 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ 作为 $ \|x\|_0 $ 的稳定且有下界的替代度量，即使在信号分量并非精确为零时仍具意义。
• 使用随机测量矩阵 $ A \in \mathbb{R}^{n \times p} $ 获取线性测量 $ y = Ax + \epsilon $，从而仅从 $ y $ 即可估计 $ s(x) $。
• 基于观测测量构建 $ s(x) $ 的置信区间，其宽度与 $ p $ 无关，利用浓度不等式和高斯最大值的界。
• 利用两点先验构造和贝叶斯风险分析，证明确定性测量矩阵的极小极大风险下界。
• 将问题约化为一对信号 $ \{x^\circ, \tilde{x}\} $ 的子集，其测量相同但 $ s(x) $ 值不同，以证明在确定性设计下准确估计的不可能性。
• 利用三角不等式和风险最小化，证明常数风险的贝叶斯规则达到下界，从而证明随机化的必要性。

实验结果

研究问题

• RQ1 能否在不假设 $ \|x\|_0 $ 先验知识的前提下，获得压缩感知中信号稀疏度的稳定、数据驱动估计？
• RQ2 使用确定性与随机测量矩阵估计 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ 的根本极限是什么？
• RQ3 能否构建一个宽度与信号维度 $ p $ 无关的 $ s(x) $ 置信区间？
• RQ4 $ s(x) $ 的估计如何影响压缩感知的实际方面，如测量数量选择和恢复算法调优？
• RQ5 是否能仅使用少量线性测量、且无需任何稀疏性假设，以高置信度估计 $ s(x) $？

主要发现

• 所提出的 $ s(x) $ 估计器实现了与信号维度 $ p $ 无关的置信区间宽度，确保在高维问题中的可扩展性。
• 使用确定性测量估计 $ s(x) $ 的极小极大风险下界为 $ \frac{p - n - 1}{2(1 + 2\sqrt{2\log(2p)})^2} $，证明当 $ n \ll p $ 时此类测量本质上不充分。
• 随机测量对于准确估计至关重要，因为即使当 $ n $ 与 $ p $ 成比例时，确定性设计仍导致极大的极小极大风险。
• $ s(x) $ 的估计器计算高效且无需稀疏性假设，适用于实际中验证稀疏建模。
• 理论保证可自然推广至矩阵恢复场景，其中可类似地估计矩阵秩的软版本并获得相同置信界。
• 该方法为验证稀疏性假设、选择测量数量和调优恢复算法提供了实用工具，适用于现实世界中的压缩感知应用。