[论文解读] L2/L2-foreach sparse recovery with low risk

Anna C. Gilbert, Hung Q. Ngo+3 more|arXiv (Cornell University)|Apr 23, 2013

Sparse and Compressive Sensing Techniques参考文献 13被引用 24

一句话总结

本论文提出了一种新颖的 ℓ₂/ℓ₂-foreach 稀疏恢复框架，具有较低的失败概率，实现了近乎最优的测量复杂度和次线性解码时间。通过结合递归稀疏恢复与列表可恢复码（特别是基于 Loomis-Whitney 不等式构造的 Reed-Solomon 码），该工作建立了紧致的界限，并首次实现了具有对数级测量开销的次线性时间 ℓ₁/ℓ₁ 恢复系统。

ABSTRACT

In this paper, we consider the "foreach" sparse recovery problem with failure probability $p$. The goal of which is to design a distribution over $m imes N$ matrices $Φ$ and a decoding algorithm $\algo$ such that for every $\vx\in\R^N$, we have the following error guarantee with probability at least $1-p$ \[\|\vx-\algo(Φ\vx)\|_2\le C\|\vx-\vx_k\|_2,\] where $C$ is a constant (ideally arbitrarily close to 1) and $\vx_k$ is the best $k$-sparse approximation of $\vx$. Much of the sparse recovery or compressive sensing literature has focused on the case of either $p = 0$ or $p = Ω(1)$. We initiate the study of this problem for the entire range of failure probability. Our two main results are as follows: \begin{enumerate} \item We prove a lower bound on $m$, the number measurements, of $Ω(k\log(n/k)+\log(1/p))$ for $2^{-Θ(N)}\le p <1$. Cohen, Dahmen, and DeVore \cite{CDD2007:NearOptimall2l2} prove that this bound is tight. \item We prove nearly matching upper bounds for extit{sub-linear} time decoding. Previous such results addressed only $p = Ω(1)$. \end{enumerate} Our results and techniques lead to the following corollaries: (i) the first ever sub-linear time decoding $\lolo$ "forall" sparse recovery system that requires a $\log^γ{N}$ extra factor (for some $γ<1$) over the optimal $O(k\log(N/k))$ number of measurements, and (ii) extensions of Gilbert et al. \cite{GHRSW12:SimpleSignals} results for information-theoretically bounded adversaries.

研究动机与目标

• 弥合在失败概率 p=0（forall）与 p=Ω(1)（foreach）极端情况之间，中间失败概率下的稀疏恢复差距。
• 设计一种低失败概率 p 的稀疏恢复系统，同时保持次线性解码时间和近似最优的测量数量。
• 扩展对信息论有界敌手的先前结果，并首次提供一种具有对数级测量开销的次线性时间 ℓ₁/ℓ₁ 恢复系统。
• 为 ℓ₂/ℓ₂-foreach 恢复建立一个适用于整个失败概率范围（包括 p=0）的新下界。
• 开发一种新的下界证明技术，相较于以往基于通信复杂度的方法更为简洁直观。

提出的方法

• 利用基于 Loomis-Whitney 不等式导出参数的列表可恢复码，提出一种递归构造弱识别矩阵的方法，特别采用 Reed-Solomon 码。
• 将 Porat 和 Strauss 的递归稀疏恢复框架与高效可解码的列表可恢复码相结合，这些码专为稀疏恢复设计，而非传统编码理论。
• 采用递归识别过程，每一层利用具有列表恢复特性的码识别重头节点，以增强对污染的鲁棒性。
• 通过计数论证，对误差传播和失败概率进行精细化分析，以界定每一级递归中被污染的重头节点数量。
• 借鉴 Cohen、Dahmen 和 DeVore 的几何下界技术，并将其适配以处理整个失败概率范围 p。
• 使用参数 ρ = 1/4 和 b = O(2^{1/ε}) 调整码参数，以在测量数量与解码时间之间实现最优权衡。

实验结果

研究问题

• RQ1 在包括中间值在内的整个失败概率范围内，ℓ₂/ℓ₂-foreach 稀疏恢复的最优测量复杂度是多少？
• RQ2 能否在仅对最优测量复杂度 O(k log(N/k)) 有 log^γ N 开销的前提下，实现 ℓ₁/ℓ₁ 稀疏恢复的次线性时间解码？
• RQ3 如何使失败概率 p 任意小，同时保持近似最优的测量数量和高效的解码性能？
• RQ4 ℓ₂/ℓ₂-foreach 恢复的测量数量是否存在最紧致的统一下界，适用于所有 p ∈ [2^{-Θ(N)}, 1)？
• RQ5 能否开发一种新的稀疏恢复下界证明技术，使其比基于通信复杂度的方法更简洁、更具通用性？

主要发现

• 本论文建立了 ℓ₂/ℓ₂-foreach 稀疏恢复的测量数量下界为 Ω(k log(N/k) + log(1/p))，该下界对整个失败概率范围均紧致。
• 首次提出一种次线性时间 ℓ₁/ℓ₁ 稀疏恢复系统，其测量数量为 O(k log(N/k) · log^γ N)，其中 γ < 1，实现近似最优的测量复杂度。
• 所提出的构造实现失败概率 p′(N) ≤ (N/k)^{-Ω(ζk / 𝒩^{O(log(1/ρ)/log r)})}，其中 𝒩 = log_A N 且 A = Ω(ζ^{-6} η^{-2} k^r log^2(N/k))。
• 测量数量被限制在 O(g(ζ,η) · k log(N/k) · 𝒩^{log(r/b)/log b}) 之内，其中 𝒩 = log_A N 且 r = 2b+1，表明在 k 和 N 方面具有近乎最优性。
• 解码时间复杂度为 O(ζ^{-3} η^{-2} · 𝒩 · A · log A) + O(ζ^{-3} η^{-2} (k/η)^r · poly(log N))，在适当参数选择下实现次线性复杂度。
• 下界证明技术相较于以往基于通信复杂度的方法更为简洁直观，并将 Cohen 等人针对 p=0 的 Ω(N) 下界推广至整个 p 范围。