[论文解读] Efficient and Robust Compressed Sensing using High-Quality Expander Graphs

Sina Jafarpour, Weiyu Xu+2 more|ArXiv.org|Jun 24, 2008

Sparse and Compressive Sensing Techniques参考文献 11被引用 30

一句话总结

本文提出了一种使用高质量扩展图（扩展系数超过3/4）的确定性压缩感知框架，实现仅需O(k)次恢复迭代即可完全恢复信号——显著降低了先前工作中O(k log n)的时间复杂度。该方法利用ℓ1距离的限制等距性质（RIP-1），并采用二叉搜索树等高效数据结构实现亚线性时间重建，实现了鲁棒性与接近最优的测量次数，且可实现显式构造，仅带来微小代价。

ABSTRACT

Expander graphs have been recently proposed to construct efficient compressed sensing algorithms. In particular, it has been shown that any $n$-dimensional vector that is $k$-sparse (with $k\ll n$) can be fully recovered using $O(k\log\frac{n}{k})$ measurements and only $O(k\log n)$ simple recovery iterations. In this paper we improve upon this result by considering expander graphs with expansion coefficient beyond 3/4 and show that, with the same number of measurements, only $O(k)$ recovery iterations are required, which is a significant improvement when $n$ is large. In fact, full recovery can be accomplished by at most $2k$ very simple iterations. The number of iterations can be made arbitrarily close to $k$, and the recovery algorithm can be implemented very efficiently using a simple binary search tree. We also show that by tolerating a small penalty on the number of measurements, and not on the number of recovery iterations, one can use the efficient construction of a family of expander graphs to come up with explicit measurement matrices for this method. We compare our result with other recently developed expander-graph-based methods and argue that it compares favorably both in terms of the number of required measurements and in terms of the recovery time complexity. Finally we will show how our analysis extends to give a robust algorithm that finds the position and sign of the $k$ significant elements of an almost $k$-sparse signal and then, using very simple optimization techniques, finds in sublinear time a $k$-sparse signal which approximates the original signal with very high precision.

研究动机与目标

• 将压缩感知的恢复时间复杂度从O(k log n)降低至O(k)次迭代，通过改进扩展图的性质。
• 利用高质量扩展图实现高效、确定性的压缩感知，支持测量矩阵的显式构造。
• 设计一种鲁棒算法，用于识别几乎k-稀疏信号中k个最大分量的位置与符号。
• 利用RIP-1性质与高效优化方法，实现k-稀疏近似信号的亚线性时间重建。
• 在测量次数、恢复时间与实现简洁性方面，与现有基于扩展图及随机投影的方法相比具有优势。

提出的方法

• 使用扩展系数>3/4的非平衡二部扩展图，构造测量矩阵A，测量次数为O(k log n)。
• 应用一种改进的贪婪恢复算法，通过迭代的基于树的搜索识别支撑集，每次迭代使残差误差按log n比例减少。
• 采用二叉搜索树数据结构高效维护与更新候选支撑集，实现每次迭代O(d log d)的时间复杂度。
• 利用ℓ1距离的限制等距性质（RIP-1）确保对含噪声或近似稀疏信号的k-稀疏近似实现稳定恢复。
• 利用k个最大分量的位置与符号信息，在子矩阵A′上求解一个小规模最小二乘问题，实现亚线性时间重建。
• 依赖右正则的高质量扩展图以保证理论恢复界，并允许仅以极小代价增加测量数的显式构造。

实验结果

研究问题

• RQ1 扩展系数超过3/4的扩展图能否将恢复迭代次数从O(k log n)减少至O(k)？
• RQ2 如何利用二叉搜索树等简单数据结构高效实现恢复算法？
• RQ3 能否在仅小幅增加测量数的前提下，使用扩展图的显式构造而不牺牲恢复迭代次数？
• RQ4 在一般假设下，该方法如何实现对几乎k-稀疏信号的鲁棒恢复？
• RQ5 使用高质量扩展图时，测量数与恢复时间复杂度之间存在何种权衡？

主要发现

• k-稀疏信号的完整恢复可在最多2k次简单迭代内完成，时间复杂度从O(k log n)降低至O(k)。
• 使用二叉搜索树实现的恢复算法时间复杂度为O(k log n log log n)，与迭代次数相比仅带来微小开销。
• 高质量扩展图的显式构造仅导致测量数的微小增加，而不会影响迭代次数。
• 该方法通过先识别k个最大分量的位置与符号，再求解亚线性优化问题，实现对几乎k-稀疏信号的鲁棒恢复。
• 扩展图的RIP-1性质确保重建的k-稀疏信号与原始信号高度逼近。
• 所提方法在测量效率、恢复时间与算法简洁性方面优于先前基于扩展图的方法及随机投影技术。