[论文解读] (1+eps)-approximate Sparse Recovery

Eric Price, David P. Woodruff|arXiv (Cornell University)|Oct 19, 2011

Sparse and Compressive Sensing Techniques参考文献 12被引用 7

一句话总结

该论文解决了 ℓ₁ 和 ℓ₂ 范数下 (1+ε)-近似稀疏恢复的测量复杂度问题，表明对于 k-稀疏输出，k/εᵖ·polylog(n) 次测量是必要且充分的；而对于 ℓ₂ 中非稀疏输出，该界在 (1/ε)k log(n/k) 处达到紧致性。论文提出了一种新算法，实现了 ℓ₁ 下 O(log³(1/ε)/√ε · k log n) 次测量，优于以往 1/ε 的依赖关系。

ABSTRACT

The problem central to sparse recovery and compressive sensing is that of stable sparse recovery: we want a distribution of matrices A in R^{m imes n} such that, for any x \in R^n and with probability at least 2/3 over A, there is an algorithm to recover x* from Ax with ||x* - x||_p <= C min_{k-sparse x'} ||x - x'||_p for some constant C > 1 and norm p. The measurement complexity of this problem is well understood for constant C > 1. However, in a variety of applications it is important to obtain C = 1 + eps for a small eps > 0, and this complexity is not well understood. We resolve the dependence on eps in the number of measurements required of a k-sparse recovery algorithm, up to polylogarithmic factors for the central cases of p = 1 and p = 2. Namely, we give new algorithms and lower bounds that show the number of measurements required is (1/eps^{p/2})k polylog(n). For p = 2, our bound of (1/eps) k log(n/k) is tight up to constant factors. We also give matching bounds when the output is required to be k-sparse, in which case we achieve (1/eps^p) k polylog(n). This shows the distinction between the complexity of sparse and non-sparse outputs is fundamental.

研究动机与目标

• 填补当 ε 较小时，(1+ε)-近似稀疏恢复测量复杂度理解上的空白。
• 解决 k-稀疏输出与非 k-稀疏输出恢复在测量需求上是否存在本质区别的问题。
• 建立 (1+ε)-近似恢复在 ℓ₁ 和 ℓ₂ 范数下所需测量次数的紧致下界与上界。
• 设计一种新算法，改进 ℓ₁ 恢复中测量复杂度对 1/ε 的依赖关系。

提出的方法

• 提出一种新颖算法，利用 Count-Sketch 并对前 2k 个元素进行阈值处理，实现 ℓ₂ 下 (1+ε)-近似恢复，测量次数为 O((1/ε)k log(n/k))。
• 引入一种基于纠错码和从噪声线性测量中鲁棒恢复的新下界技术。
• 通过将稀疏恢复归约到具有特定距离特性的码的列表解码，推导出 k-稀疏输出的 Ω(k/εᵖ) 下界。
• 采用对偶论证，结合虚拟坐标和噪声模型，推导出 k=1 情况下的下界，并推广至一般 k。
• 通过分析线性投影在扰动下的鲁棒性，证明在 Count-Sketch 中对前 2k 个元素进行阈值处理可高概率实现 (1+ε)-近似。
• 结合概率构造与集中不等式，确保以失败概率 δ = o(1) 实现高概率恢复。

实验结果

研究问题

• RQ1 对于非 k-稀疏输出的 (1+ε)-近似 ℓ₂ 稀疏恢复，最优测量复杂度是多少？
• RQ2 在 (1+ε)-近似恢复中，k-稀疏输出与非 k-稀疏输出恢复的测量复杂度之间是否存在本质差距？
• RQ3 能否将 ℓ₁ 恢复中测量复杂度的 1/ε² 依赖关系改进为 1/ε 或更优？
• RQ4 对于 k-稀疏输出的 (1+ε)-近似 ℓ₁ 恢复，测量次数的最紧下界是什么？
• RQ5 在 (1+ε)-近似恢复中，失败概率 δ 如何影响测量复杂度？

主要发现

• 对于 ℓ₂ 恢复中非 k-稀疏输出，测量复杂度为 Θ((1/ε)k log(n/k))，与上界仅相差常数因子。
• 对于 ℓ₂ 恢复中 k-稀疏输出，测量复杂度为 Ω((1/ε²)k) 且 O((1/ε²)k log n)，表明其与非稀疏输出存在本质差距。
• 对于 ℓ₁ 恢复中 k-稀疏输出，测量复杂度为 Ω(k/ε) 且 O((1/ε)k log n)，仅相差多对数因子。
• 对于 ℓ₁ 恢复中一般（非 k-稀疏）输出，测量复杂度为 Ω(k/√ε) 且 O((log³(1/ε)/√ε)k log n)，优于以往 1/ε 的依赖关系。
• 论文证明，k-稀疏输出与非 k-稀疏输出之间的区别是本质性的，因为在 (1+ε)-近似范式下，其测量复杂度存在显著差异。
• 所提出的算法实现了 (1+ε)-近似 ℓ₂ 恢复，测量次数为 O((1/ε)k log(n/k))，失败概率为 1−n⁻Ω(1)，在高概率恢复方面优于以往方法。