[论文解读] Hamming Compressed Sensing

Tianyi Zhou, Dacheng Tao|arXiv (Cornell University)|Oct 1, 2011

Sparse and Compressive Sensing Techniques参考文献 37被引用 4

一句话总结

本文提出了一种新型方法——哈明压缩感知（HCS），该方法通过在伯努利分布空间中基于Kullback-Leibler（KL）散度的最近邻搜索，直接从1-bit测量值中恢复k-bit量化信号。HCS实现线性恢复时间，仅需O(log n)次测量，且能显著加快后续去量化过程，在稀疏与密集信号上均优于传统压缩感知（CS）和1-bit CS，在速度、鲁棒性和效率方面表现更优。

ABSTRACT

Compressed sensing (CS) and 1-bit CS cannot directly recover quantized signals and require time consuming recovery. In this paper, we introduce extit{Hamming compressed sensing} (HCS) that directly recovers a k-bit quantized signal of dimensional $n$ from its 1-bit measurements via invoking $n$ times of Kullback-Leibler divergence based nearest neighbor search. Compared with CS and 1-bit CS, HCS allows the signal to be dense, takes considerably less (linear) recovery time and requires substantially less measurements ($\mathcal O(\log n)$). Moreover, HCS recovery can accelerate the subsequent 1-bit CS dequantizer. We study a quantized recovery error bound of HCS for general signals and "HCS+dequantizer" recovery error bound for sparse signals. Extensive numerical simulations verify the appealing accuracy, robustness, efficiency and consistency of HCS.

研究动机与目标

• 为解决传统压缩感知（CS）和1-bit CS因依赖迭代或基于优化的恢复方法而导致的效率低下与高恢复成本问题。
• 实现从1-bit测量值中直接恢复k-bit量化信号，满足现有工作尚未解决的实际需求。
• 将恢复时间从多项式复杂度降低至线性复杂度，同时保持精度与鲁棒性。
• 通过HCS提供高质量初始估计，加速后续去量化过程。
• 为一般信号与稀疏信号在HCS下的理论恢复误差边界提供理论分析。

提出的方法

• HCS通过在伯努利分布空间中使用Kullback-Leibler（KL）散度作为距离度量，对n个最近邻进行搜索，以恢复k-bit量化信号。
• 每次搜索通过KL散度将1-bit测量向量与所有可能的k-bit量化信号模式进行比较，以找到最接近的匹配。
• 该方法利用1-bit测量值对应于线性投影的符号模式这一事实，并利用这些符号模式在量化信号空间中引导最近邻搜索。
• 通过计算测量模式与所有候选k-bit信号之间的KL散度，HCS在O(nk)时间内完成恢复。
• 该方法与信号稀疏性无关，因此可直接恢复密集信号。
• HCS进一步与去量化器结合，以提升重建精度，尤其在稀疏信号中表现更优，且已建立理论一致性与误差边界。

实验结果

研究问题

• RQ1 能否使用非迭代、低复杂度的方法，直接从1-bit测量值中恢复k-bit量化信号？
• RQ2 HCS是否在保持高精度与鲁棒性的同时，实现线性恢复时间？
• RQ3 与标准1-bit CS相比，HCS能否显著加速后续的去量化过程？
• RQ4 当与去量化器结合时，HCS在一般信号与稀疏信号上的理论恢复误差边界是什么？
• RQ5 在噪声环境中，HCS与CS和1-bit CS相比，在测量效率与鲁棒性方面表现如何？

主要发现

• HCS实现线性恢复时间，时间复杂度为O(nk)，远快于基于优化的CS与1-bit CS方法所需的多项式时间。
• HCS仅需O(log n)次测量即可实现准确恢复，显著少于标准CS所需的O(K log(n/K))次测量，即使在密集信号情况下亦然。
• 在噪声环境中，HCS表现出优于1-bit CS的鲁棒性，且随着测量次数增加，量化恢复误差迅速下降。
• 与'1-bit CS + HCS去量化器'相比，HCS的时间开销随测量次数增加而增长得慢得多，表明其具有更优的可扩展性。
• 'HCS + 去量化器'流水线在少于10次去量化迭代内即可达到与1-bit CS相当或更优的精度，而1-bit CS需超过50次迭代才能达到相似精度。
• 相变分析表明，HCS在不同信号维度与噪声水平下均保持一致性能，且哈明损失与角度误差之间存在强线性关系，验证了理论一致性。