[论文解读] Exponential decay of reconstruction error from binary measurements of sparse signals

Richard G. Baraniuk, Simon Foucart+3 more|arXiv (Cornell University)|Jul 31, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用 12

一句话总结

本文提出了一种在一位压缩感知中采用自适应阈值策略的方法，实现了重建误差的指数衰减，优于标准方法中 $\Omega(\lambda^{-1})$ 的多项式衰减。通过基于信号估计递归调整量化阈值，该方法使基于二阶锥规划和硬阈值化的算法均能达到 $e^{-\Omega(\lambda)}$ 的误差界，其中 $\lambda$ 为过采样因子。

ABSTRACT

Binary measurements arise naturally in a variety of statistical and engineering applications. They may be inherent to the problem---e.g., in determining the relationship between genetics and the presence or absence of a disease---or they may be a result of extreme quantization. In one-bit compressed sensing it has recently been shown that the number of one-bit measurements required for signal estimation mirrors that of unquantized compressed sensing. Indeed, $s$-sparse signals in $\mathbb{R}^n$ can be estimated (up to normalization) from $Ω(s \log (n/s))$ one-bit measurements. Nevertheless, controlling the precise accuracy of the error estimate remains an open challenge. In this paper, we focus on optimizing the decay of the error as a function of the oversampling factor $λ:= m/(s \log(n/s))$, where $m$ is the number of measurements. It is known that the error in reconstructing sparse signals from standard one-bit measurements is bounded below by $Ω(λ^{-1})$. Without adjusting the measurement procedure, reducing this polynomial error decay rate is impossible. However, we show that an adaptive choice of the thresholds used for quantization may lower the error rate to $e^{-Ω(λ)}$. This improves upon guarantees for other methods of adaptive thresholding as proposed in Sigma-Delta quantization. We develop a general recursive strategy to achieve this exponential decay and two specific polynomial-time algorithms which fall into this framework, one based on convex programming and one on hard thresholding. This work is inspired by the one-bit compressed sensing model, in which the engineer controls the measurement procedure. Nevertheless, the principle is extendable to signal reconstruction problems in a variety of binary statistical models as well as statistical estimation problems like logistic regression.

研究动机与目标

• 为解决非自适应一位压缩感知中误差衰减仅为多项式形式（衰减速度为 $\Omega(\lambda^{-1})$）的局限性。
• 提出一种方法，通过基于信号估计自适应选择量化阈值，实现 $e^{-\Omega(\lambda)}$ 的指数误差衰减。
• 设计计算高效的算法——具体而言，基于二阶锥规划与基于硬阈值化的算法——以实现该改进的误差速率。
• 将该框架扩展至压缩感知之外的二值统计模型，包括逻辑回归与阈值群体测试。
• 证明自适应阈值策略可在不将测量数增加至超过 $\Omega(s\log(n/s))$ 的前提下，显著提升重建精度。

提出的方法

• 提出一种递归自适应阈值框架，其中阈值根据当前信号估计值迭代更新，以优化量化过程。
• 引入一种基于二阶锥规划的算法，通过求解包含自适应阈值的凸优化问题实现重建。
• 开发一种基于硬阈值化的算法，通过自适应量化迭代更新稀疏信号的支撑集与估计值。
• 采用递归策略调整阈值，使量化区域更贴合信号结构，从而提升重建保真度。
• 使用具有独立同分布标准正态分布条目的测量矩阵 $\mathbf{A}$，并对每条测量值应用基于符号的自适应量化。
• 该框架具有通用性，可通过将阈值自适应过程纳入似然估计，推广至其他二值模型，如逻辑回归。

实验结果

研究问题

• RQ1 在一位压缩感知中，自适应阈值策略能否实现指数级误差衰减，超越非自适应方法的 $\Omega(\lambda^{-1})$ 上限？
• RQ2 当阈值基于信号估计自适应选择时，理论上可达到的误差衰减速率是多少？
• RQ3 能否设计出高效、时间复杂度为多项式时间的算法，以实现自适应阈值化，同时保持强误差保证？
• RQ4 与现有非自适应凸优化与迭代方法相比，所提方法在重建精度方面表现如何？
• RQ5 该框架在多大程度上可推广至其他二值统计模型，如逻辑回归或阈值群体测试？

主要发现

• 所提出的自适应阈值框架实现的重建误差衰减速度为 $e^{-\Omega(\lambda)}$，其中 $\lambda = m / (s\log(n/s))$ 为过采样因子，相较于非自适应方法的 $\Omega(\lambda^{-1})$ 上限，实现了指数级改进。
• 基于二阶锥规划的算法在所提出的自适应量化方案下，展现出鲁棒且精确的重建性能，实现指数级误差衰减。
• 基于硬阈值化的算法在多项式时间内实现相似的指数级误差衰减，使其在大规模问题中具备计算高效性。
• 理论分析表明，自适应阈值策略打破了标准一位压缩感知中固有的多项式误差衰减限制。
• 该框架可推广至二值回归模型，如 $\ell_1$-正则化逻辑回归，通过自适应阈值显著提升估计精度。
• 图5a与5b的实验结果证实，两种算法的相对误差显著低于非自适应方法，且随着测量数增加，优势更加明显。