[论文解读] Compressed Sensing with Very Sparse Gaussian Random Projections

Ping Li, Cun‐Hui Zhang|arXiv (Cornell University)|Aug 11, 2014

Sparse and Compressive Sensing Techniques参考文献 15被引用 5

一句话总结

该论文提出了一种计算高效的压缩感知方法，采用极稀疏的高斯随机投影，其中感知矩阵仅有一小部分条目非零。通过利用一次扫描解码过程中的两种估计器——关联估计器和绝对最小估计器，该方法在显著减少测量次数的同时，实现了与L1解码相当的恢复精度，具有理论保证，并在三元信号上得到了实证验证。

ABSTRACT

We study the use of very sparse random projections for compressed sensing (sparse signal recovery) when the signal entries can be either positive or negative. In our setting, the entries of a Gaussian design matrix are randomly sparsified so that only a very small fraction of the entries are nonzero. Our proposed decoding algorithm is simple and efficient in that the major cost is one linear scan of the coordinates. We have developed two estimators: (i) the {\em tie estimator}, and (ii) the {\em absolute minimum estimator}. Using only the tie estimator, we are able to recover a $K$-sparse signal of length $N$ using $1.551 eK \log K/δ$ measurements (where $δ\leq 0.05$ is the confidence). Using only the absolute minimum estimator, we can detect the support of the signal using $eK\log N/δ$ measurements. For a particular coordinate, the absolute minimum estimator requires fewer measurements (i.e., with a constant $e$ instead of $1.551e$). Thus, the two estimators can be combined to form an even more practical decoding framework. Prior studies have shown that existing one-scan (or roughly one-scan) recovery algorithms using sparse matrices would require substantially more (e.g., one order of magnitude) measurements than L1 decoding by linear programming, when the nonzero entries of signals can be either negative or positive. In this paper, following a known experimental setup, we show that, at the same number of measurements, the recovery accuracies of our proposed method are (at least) similar to the standard L1 decoding.

研究动机与目标

• 开发一种基于极稀疏感知矩阵的快速、单次扫描压缩感知解码算法。
• 在大幅降低计算成本的同时，实现与L1解码相当的恢复精度。
• 从理论上和实证上验证，稀疏随机投影可在极少测量次数下保持信号恢复的保真度。
• 提供一种实用框架，结合关联估计器与绝对最小估计器，实现鲁棒的稀疏信号恢复。

提出的方法

• 感知矩阵通过独立同分布的高斯条目构建，随后进行稀疏化，使得仅γ比例的条目非零，其中γ = 1/K。
• 解码过程对测量值执行一次线性扫描，使用两种估计器：关联估计器与绝对最小估计器。
• 关联估计器通过检测当干扰项η_ij = 0时，重复的比值y_j / (s_ij r_ij)来识别非零信号条目，从而实现对x_i的精确恢复。
• 绝对最小估计器通过选择测量值中绝对值最小的项来检测信号支撑，需eK log N / δ次测量。
• 理论分析推导出测量边界：关联估计器为1.551eK log K / δ，绝对最小估计器为eK log N / δ，置信度δ ≤ 0.05。
• 在实际中将两种估计器结合，形成一种鲁棒且高效的解码框架，在相同测量数下达到与L1解码相当的精度。

实验结果

研究问题

• RQ1 极稀疏的随机投影是否能实现仅一次线性扫描下的准确且高效的压缩感知恢复？
• RQ2 关联估计器实现可靠恢复所需的最少测量次数是多少？其与信号稀疏度K和置信度δ的缩放关系如何？
• RQ3 在测量效率和精度方面，所提方法与L1解码及现有稀疏恢复算法（如count-min sketch和SMP）相比表现如何？
• RQ4 关联估计器与绝对最小估计器的结合是否能在保持低计算成本的同时，实现与L1解码相当的恢复精度？

主要发现

• 关联估计器可在1.551eK log K / δ次测量下实现K-稀疏信号的精确恢复，置信度δ ≤ 0.05，精度与L1解码相当。
• 绝对最小估计器使用eK log N / δ次测量检测信号支撑，其每坐标测量次数少于关联估计器。
• 实证结果表明，该方法在相同测量数下与L1解码具有相近的成功概率，且在N = 20,000个三元信号上得到验证。
• 该方法优于count-min sketch，后者需10–15倍以上的测量才能达到相似精度，且性能与SMP相当或更优。
• 理论分析证实，关联估计器的测量边界与eK log K / δ相差一个常数因子，常数1.551e由关联事件概率边界推导得出。
• 该框架计算高效，解码成本与count-min sketch相当，适用于流式处理和大规模应用场景。