[论文解读] Improved Algorithms for Adaptive Compressed Sensing

Vasileios Nakos, Xiaofei Shi+2 more|arXiv (Cornell University)|Apr 25, 2018

Sparse and Compressive Sensing Techniques参考文献 15被引用 5

一句话总结

本论文提出改进的自适应压缩感知算法，在 ℓp/ℓp 恢复中实现接近最优的测量复杂度与更少的自适应轮次，其中 p ∈ (0,2)。通过引入一种新型的 1-稀疏恢复子程序并利用分层子采样，作者将 ℓ2/ℓ2 恢复的测量次数减少至 O(k·loglog(n/k) + (k/ε)·loglog(1/ε))，将最优 loglog(n) 轮次下的测量次数减少至 O((k/ε)·loglog(n log(n/k)))，同时建立了紧致的下界以证实其近似最优性。

ABSTRACT

In the problem of adaptive compressed sensing, one wants to estimate an approximately $k$-sparse vector $x\in\mathbb{R}^n$ from $m$ linear measurements $A_1 x, A_2 x,\ldots, A_m x$, where $A_i$ can be chosen based on the outcomes $A_1 x,\ldots, A_{i-1} x$ of previous measurements. The goal is to output a vector $\hat{x}$ for which $$\|x-\hat{x}\|_p \le C \cdot \min_{k ext{-sparse } x'} \|x-x'\|_q\,$$ with probability at least $2/3$, where $C > 0$ is an approximation factor. Indyk, Price and Woodruff (FOCS'11) gave an algorithm for $p=q=2$ for $C = 1+ε$ with $\Oh((k/ε) \loglog (n/k))$ measurements and $\Oh(\log^*(k) \loglog (n))$ rounds of adaptivity. We first improve their bounds, obtaining a scheme with $\Oh(k \cdot \loglog (n/k) +(k/ε) \cdot \loglog(1/ε))$ measurements and $\Oh(\log^*(k) \loglog (n))$ rounds, as well as a scheme with $\Oh((k/ε) \cdot \loglog (n\log (n/k)))$ measurements and an optimal $\Oh(\loglog (n))$ rounds. We then provide novel adaptive compressed sensing schemes with improved bounds for $(p,p)$ for every $0 < p < 2$. We show that the improvement from $O(k \log(n/k))$ measurements to $O(k \log \log (n/k))$ measurements in the adaptive setting can persist with a better $ε$-dependence for other values of $p$ and $q$. For example, when $(p,q) = (1,1)$, we obtain $O(\frac{k}{\sqrtε} \cdot \log \log n \log^3 (\frac{1}ε))$ measurements.

研究动机与目标

• 为自适应压缩感知中的测量复杂度与自适应性之间的差距提供填补，特别是针对 ℓ2/ℓ2 和一般 ℓp/ℓp 恢复（0 < p < 2）。
• 在 Indyk、Price 和 Woodruff（FOCS'11）先前工作的基础上进一步改进，后者在 ℓ2/ℓ2 恢复中使用 O((k/ε) loglog(n/k)) 次测量和 O(log*(k) loglog(n)) 轮次，且 C = 1+ε。
• 为所有 p ∈ (0,2) 的 (p,p) 方案提供首个近乎最优的界，即使在非自适应设置下亦成立。
• 通过信息论论证建立近乎匹配的下界，证明所提出的算法在测量复杂度与自适应性方面均接近最优。

提出的方法

• 设计一种新型 1-稀疏恢复算法，通过子采样与迭代精炼，实现自适应轮次中对重坐标的有效检测。
• 采用采样率逐级下降的分层子采样策略，以在一系列轮次中隔离并恢复高幅值坐标。
• 将改进的 1-稀疏恢复子程序整合进多级自适应框架，逐步聚焦于残差误差并精炼估计。
• 应用马尔可夫不等式与集中不等式，确保每步恢复的高概率成功，且跨轮次的失败概率得到控制。
• 利用 ℓp/ℓp 恢复的结构，推导出随 ε 改善的测量界，尤其在 p < 2 时表现更优。
• 通过信息论论证证明下界，表明所提出的测量复杂度仅在对数因子范围内接近最优。

实验结果

研究问题

• RQ1 能否在减少轮次数的同时，将自适应压缩感知在 ℓ2/ℓ2 恢复中的测量复杂度提升至 O((k/ε) loglog(n/k)) 以下？
• RQ2 当 0 < p < 2 时，ℓp/ℓp 恢复中测量次数与自适应轮次数之间最优权衡为何？
• RQ3 在 ℓ1/ℓ1 恢复中观察到的改进 ε 依赖性，能否推广至其他满足 p < 2 的 ℓp/ℓp 设置？
• RQ4 在非自适应设置下，是否可能实现 (p,p) 恢复在 0 < p < 2 时的近乎最优测量复杂度？
• RQ5 所提出的算法与自适应压缩感知的信息论下界有多接近？

主要发现

• 对于 ℓ2/ℓ2 恢复（C = 1+ε），本论文实现 O(k·loglog(n/k) + (k/ε)·loglog(1/ε)) 次测量与 O(log*(k) loglog(n)) 轮次，优于先前的 O((k/ε) loglog(n/k)) 次测量与相同轮次复杂度。
• 一种新方案实现 O((k/ε)·loglog(n log(n/k))) 次测量与最优的 O(loglog(n)) 轮次，匹配目前已知的最佳轮次复杂度。
• 对于 ℓ1/ℓ1 恢复，本论文获得 O(k/√ε · loglog(n) · log^(5/2)(1/ε)) 次测量，显著改进了先前的非自适应界，并在对数因子范围内匹配自适应下界。
• 对于一般 ℓp/ℓp 恢复（0 < p < 2），本论文实现 O(k/ε^(p/2) · loglog(n) · poly(log(1/ε))) 次测量与 O(loglog(n)) 轮次，表明自适应带来的 loglog(n/k) 节省在 ε 依赖性更优的情况下依然成立。
• 作者建立了近乎匹配的下界：ℓp/ℓp 为 Ω(k/ε^(p/2) / log²(k/ε))，ℓ1/ℓ1 为 Ω(k/√ε / log(k/√ε))，证实其算法在测量复杂度与自适应性方面均近乎最优。
• 本论文首次为所有 p ∈ (0,2) 的 (p,p) 恢复提供了近乎最优的非自适应界，解决了该领域的一个开放问题。