[论文解读] Compressive binary search

Mark A. Davenport, Ery Arias-Castro|arXiv (Cornell University)|Feb 5, 2012

Sparse and Compressive Sensing Techniques参考文献 17被引用 8

一句话总结

本文提出了压缩二分查找（compressive binary search），一种自适应算法，通过线性测量定位高维稀疏向量中的单个非零条目。通过递归划分搜索空间并根据阶段深度分配测量，该算法在信噪比阈值 $\mu \geq C\sqrt{(n/m)\log\log_2 n}$ 下实现支持恢复，优于非自适应方法，且与信息论下限 $\mu \geq C\sqrt{n/m}$ 仅相差双重对数因子。

ABSTRACT

In this paper we consider the problem of locating a nonzero entry in a high-dimensional vector from possibly adaptive linear measurements. We consider a recursive bisection method which we dub the compressive binary search and show that it improves on what any nonadaptive method can achieve. We also establish a non-asymptotic lower bound that applies to all methods, regardless of their computational complexity. Combined, these results show that the compressive binary search is within a double logarithmic factor of the optimal performance.

研究动机与目标

• 开发一种自适应测量策略，与非自适应压缩感知方法相比，提升一稀疏向量的支持恢复性能。
• 分析自适应采样在单稀疏向量恢复中的基本极限，建立所需信号幅值 $\mu$ 的下限。
• 证明当信噪比处于有利区间时，自适应方法可显著优于非自适应方法。
• 弥合上界与下界之间关于最小 $\mu$ 的差距，表明该方法距离最优仅差双重对数因子。

提出的方法

• 该算法采用递归二分策略，在每个阶段将索引集划分为左右两半，以检测哪一侧包含非零条目。
• 在每个阶段 $s$，测量向量 $\mathbf{u}^{(s)}$ 为左半部分的索引分配 $2^{-(s_0 - s + 1)/2}$，右半部分分配 $-2^{-(s_0 - s + 1)/2}$，确保其为单位范数。
• 测量在 $s_0 = \log_2 n$ 个阶段中自适应分配，每个阶段分配 $m_s = \lfloor (m - s_0)2^{-s} \rfloor + 1$ 次测量，以确保每一层都有足够的采样。
• 通过比较每个阶段累积测量的符号和大小，估计非零条目的位置，优先选择绝对测量和更大的一侧。
• 该方法可扩展以处理非零条目符号未知的情况，并可通过哈希方案推广至 $k$-稀疏向量。
• 通过分析在不同非零位置假设下测量结果的似然比，推导出一种新颖的信息论下界。

实验结果

研究问题

• RQ1 与非自适应方法相比，自适应测量策略是否能显著降低可靠恢复一稀疏向量支持所需的信号幅值 $\mu$？
• RQ2 在存在噪声的线性测量下，任何方法（自适应或非自适应）在恢复一稀疏向量支持时的性能基本极限是什么？
• RQ3 压缩二分查找算法与现有自适应及非自适应方法相比，在信噪比阈值和测量效率方面表现如何？
• RQ4 能否缩小所提算法上界与信息论下界之间的差距？

主要发现

• 当 $\mu \geq 4\sqrt{\log\log_2 n} \sqrt{n/m}$ 时，压缩二分查找算法以高概率可靠恢复一稀疏向量的支持，优于非自适应方法的阈值 $\mu \geq C\sqrt{(n/m)\log n}$。
• 该算法将信噪比要求中的对数因子从 $\log n$ 降低至 $\log\log_2 n$，充分展示了自适应的优势。
• 非渐近下界表明，无论计算复杂度如何，任何方法均需满足 $\mu \geq \frac{1}{2}\sqrt{n/m}$ 才能以至少 $1/4$ 的概率成功，确立了根本性极限。
• 当 $n \leq 10^6$ 时，上界与下界之间的差距最多为常数因子 $14$，表明该算法近乎最优。
• 理论分析证实，当 $\mu$ 满足改进后的阈值时，自适应策略可显著优于非自适应策略，尤其体现在定位后保留测量用于精确幅值估计方面。
• Malloy 和 Nowak 后续工作进一步缩小了差距，表明压缩二分查找的改进版本可实现接近信息论下界 $\sqrt{n/m}$ 的阈值。