[论文解读] Binary and Multi-Bit Coding for Stable Random Projections

Ping Li|arXiv (Cornell University)|Mar 24, 2015

Sparse and Compressive Sensing Techniques参考文献 20被引用 6

一句话总结

本文提出了针对 $\alpha$-稳定分布尺度参数估计的高效1比特和多比特编码方案，实现了极低存储与计算成本下的精确估计。结果表明，1比特估计的方差接近最优（例如，当 $\alpha=0^+$ 时，1.544 vs. 1.0 的全精度估计），而多比特编码则稳定了方差并降低了对参数的敏感性。

ABSTRACT

We develop efficient binary (i.e., 1-bit) and multi-bit coding schemes for estimating the scale parameter of $α$-stable distributions. The work is motivated by the recent work on one scan 1-bit compressed sensing (sparse signal recovery) using $α$-stable random projections, which requires estimating of the scale parameter at bits-level. Our technique can be naturally applied to data stream computations for estimating the $α$-th frequency moment. In fact, the method applies to the general scale family of distributions, not limited to $α$-stable distributions. Due to the heavy-tailed nature of $α$-stable distributions, using traditional estimators will potentially need many bits to store each measurement in order to ensure sufficient accuracy. Interestingly, our paper demonstrates that, using a simple closed-form estimator with merely 1-bit information does not result in a significant loss of accuracy if the parameter is chosen appropriately. For example, when $α=0+$, 1, and 2, the coefficients of the optimal estimation variances using full (i.e., infinite-bit) information are 1, 2, and 2, respectively. With the 1-bit scheme and appropriately chosen parameters, the corresponding variance coefficients are 1.544, $π^2/4$, and 3.066, respectively. Theoretical tail bounds are also provided. Using 2 or more bits per measurements reduces the estimation variance and importantly, stabilizes the estimate so that the variance is not sensitive to parameters. With look-up tables, the computational cost is minimal.

研究动机与目标

• 开发用于估计 $\alpha$-稳定分布尺度参数 $\Lambda_{\alpha}$ 的低比特编码方案（1比特与多比特）。
• 解决由于 $\alpha$-稳定测量的重尾特性导致的数据流中高存储与传输成本的问题。
• 实现在单次扫描1比特压缩感知中对 $\sum |x_i|^\alpha$ 的精确估计，这对稀疏信号恢复至关重要。
• 通过多比特编码稳定估计方差并降低对分布参数的敏感性。
• 将估计过程集成到单次扫描1比特压缩感知中，计算开销最小化。

提出的方法

• 提出一种基于 $|y_j|$ 1比特量化结果的闭式估计器，用于估计尺度参数 $\Lambda_\alpha$，其中 $y_j \sim S(\alpha, \Lambda_\alpha)$。
• 在 $\alpha$-稳定分布框架下，推导1比特与多比特估计器的理论尾部边界与方差系数。
• 通过改进的巴特利特校正引入偏差校正估计器，提升小样本情况下的准确性。
• 使用查表法最小化计算成本，使方法适用于数据流环境中的实时应用。
• 将该方法应用于稀疏信号恢复中 $\alpha$-阶频率矩与一般 $\ell_\alpha$ 范数的估计。
• 采用参数化形式 $E[e^{i y t}] = e^{-\Lambda_\alpha |t|^\alpha}$，实现 $\alpha \in (0,2]$ 范围内的一致估计。

实验结果

研究问题

• RQ1 对 $|y_j|$ 进行1比特量化是否能为 $\alpha$-稳定分布中的尺度参数 $\Lambda_\alpha$ 提供精确估计？
• RQ2 在不同 $\alpha$ 值下，1比特编码的估计方差与全精度（无限比特）估计相比如何？
• RQ3 多比特编码是否能稳定方差并降低对 $\alpha$ 与 $\Lambda_\alpha$ 的敏感性？
• RQ4 巴特利特校正在小样本设置下对1比特数据的偏差校正是否有效？
• RQ5 所提出的编码方案能否高效集成到单次扫描1比特压缩感知中，用于稀疏信号恢复？

主要发现

• 当 $\alpha = 0^+$ 时，1比特估计器的方差系数为 1.544，接近全精度估计下的最优值 1.0。
• 当 $\alpha = 1$ 时，1比特方差系数为 $\pi^2/4 \approx 2.467$，而全精度估计为 2.0。
• 当 $\alpha = 2$ 时，1比特方差系数为 3.066，而全精度估计为 2.0，表明精度有适度损失。
• 使用每测量值2比特或更多比特可显著降低估计方差，并在不同参数值下实现方差稳定。
• 巴特利特校正对小样本情况特别有效，能显著降低1比特估计器的偏差。
• 该方法可在单次扫描1比特压缩感知中实现对 $\sum |x_i|^\alpha$ 的精确估计，且额外测量极少。