[论文解读] Sub-linear Time Support Recovery for Compressed Sensing using Sparse-Graph Codes

Li Xiao, Dong Yin+3 more|arXiv (Cornell University)|Dec 24, 2014

Sparse and Compressive Sensing Techniques参考文献 78被引用 19

一句话总结

该论文提出了一种基于稀疏图码的压缩感知框架，实现了次线性时间的支持恢复与阶最优的测量成本。通过设计受容量逼近码启发的稀疏测量矩阵，该方法在无噪声情况下实现$O(K)$时间复杂度，在有噪声、量化设置下实现$O(K\text{log}(N/K))$时间复杂度，且在信号维度$N$上具有次线性缩放，从而实现对大规模稀疏数据集的近实时处理。

ABSTRACT

We study the support recovery problem for compressed sensing, where the goal is to reconstruct the a high-dimensional $K$-sparse signal $\mathbf{x}\in\mathbb{R}^N$, from low-dimensional linear measurements with and without noise. Our key contribution is a new compressed sensing framework through a new family of carefully designed sparse measurement matrices associated with minimal measurement costs and a low-complexity recovery algorithm. The measurement matrix in our framework is designed based on the well-crafted sparsification through capacity-approaching sparse-graph codes, where the sparse coefficients can be recovered efficiently in a few iterations by performing simple error decoding over the observations. We formally connect this general recovery problem with sparse-graph decoding in packet communication systems, and analyze our framework in terms of the measurement cost, time complexity and recovery performance. In the noiseless setting, our framework can recover any arbitrary $K$-sparse signal in $O(K)$ time using $2K$ measurements asymptotically with high probability. In the noisy setting, when the sparse coefficients take values in a finite and quantized alphabet, our framework can achieve the same goal in time $O(K\log(N/K))$ using $O(K\log(N/K))$ measurements obtained from measurement matrix with elements $\{-1,0,1\}$. When the sparsity $K$ is sub-linear in the signal dimension $K=O(N^δ)$ for some $0

研究动机与目标

• 解决在次线性稀疏性下同时实现次线性测量成本与次线性计算时间的压缩感知挑战。
• 设计一种随信号维度$N$高效扩展的测量矩阵与恢复算法，同时保持高恢复精度。
• 在有噪声、量化及连续值稀疏信号情况下，实现测量成本与运行时间的阶最优性能。
• 为连续情况下$ε$-准确的支持恢复与$ε$-有界的$‑1$-范数误差提供理论保证。
• 通过理论分析与仿真验证框架的可扩展性与实时可行性。

提出的方法

• 该框架采用通过稀疏图码构造的稀疏测量矩阵，特别利用左度与右度受控的二分图结构。
• 通过受通信系统中错误解码启发的低复杂度、迭代式消息传递算法实现恢复，从而实现高效的支持识别。
• 该方法采用两阶段过程：首先通过分箱与验证测量进行初始支持检测，随后利用内码（如LDPC）进行系数估计。
• 对于连续值系数，算法使用量化分箱与单脉冲检测，以高概率识别非零条目。
• 理论分析将恢复问题与稀疏图解码联系起来，从而可利用编码理论中已知的收敛性与错误概率界。
• 设计确保测量矩阵的元素属于\{-1, 0, 1\}，最大限度降低硬件复杂度并支持高效实现。

实验结果

研究问题

• RQ1 在次线性稀疏性$K=O(N^\delta)$（$0<\delta<1$）下，能否实现压缩感知框架的次线性测量成本与次线性运行时间？
• RQ2 能否在有噪声、量化压缩感知中实现测量成本与计算复杂度的阶最优缩放？
• RQ3 该框架能否为有界系数的连续值稀疏信号提供强$‑1$-范数恢复保证？
• RQ4 当系数来自连续分布时，该算法在支持恢复准确率与时间复杂度方面表现如何？
• RQ5 该框架能否在保持次线性缩放与低错误概率的同时，扩展以处理噪声观测？

主要发现

• 在无噪声设置下，该框架以$O(K)$时间复杂度使用$2K$次测量实现对任意$K$-稀疏信号的支持恢复，且错误概率趋于零。
• 对于$K=O(N^\delta)$的有噪声、量化系数，该方法实现$O(K\text{log}(N/K))$的时间与测量成本，达到阶最优。
• 在有界系数幅值的连续字母表设置下，该算法使用$O(K\text{log}(N/K)\text{log}\text{log}(N/K))$次测量与$O(K\text{log}^{1+r}(N/K))$的运行时间，可恢复任意大的$(1-p)$-比例支持，其中$r>0$为任意小的常数。
• 对于系数幅值有界于$O(K^c)$（$c<1$）的连续系数，该方法保证$\|\widehat{\mathbf{x}} - \mathbf{x}\|_1 \leq \kappa\|\mathbf{x}\|_1$，其中$\kappa$可任意小。
• 在足够测量次数下，该算法对每个恢复系数的$\ell_\infty$范数误差可达到$O(\epsilon)$，其中$\epsilon$可任意小。
• 仿真结果验证了理论预测的次线性缩放，测量成本与运行时间均呈$K$的线性关系，且对$N$的依赖性极弱。