[论文解读] Message-Passing Estimation from Quantized Samples

Ulugbek S. Kamilov, Vivek K Goyal+1 more|arXiv (Cornell University)|May 31, 2011

Distributed Sensor Networks and Detection Algorithms参考文献 58被引用 63

一句话总结

本文提出广义近似消息传递（GAMP）用于从量化线性测量中进行最小均方误差估计，支持从规则与非规则标量量化器中高效且准确地重建信号。结果表明，GAMP在压缩感知和过采样系统中显著优于传统线性方法与基追踪方法，其性能可通过状态演化进行分析，且量化器设计可针对重建均方误差（MSE）进行优化。

ABSTRACT

Estimation of a vector from quantized linear measurements is a common problem for which simple linear techniques are suboptimal -- sometimes greatly so. This paper develops generalized approximate message passing (GAMP) algorithms for minimum mean-squared error estimation of a random vector from quantized linear measurements, notably allowing the linear expansion to be overcomplete or undercomplete and the scalar quantization to be regular or non-regular. GAMP is a recently-developed class of algorithms that uses Gaussian approximations in belief propagation and allows arbitrary separable input and output channels. Scalar quantization of measurements is incorporated into the output channel formalism, leading to the first tractable and effective method for high-dimensional estimation problems involving non-regular scalar quantization. Non-regular quantization is empirically demonstrated to greatly improve rate-distortion performance in some problems with oversampling or with undersampling combined with a sparsity-inducing prior. Under the assumption of a Gaussian measurement matrix with i.i.d. entries, the asymptotic error performance of GAMP can be accurately predicted and tracked through the state evolution formalism. We additionally use state evolution to design MSE-optimal scalar quantizers for GAMP signal reconstruction and empirically demonstrate the superior error performance of the resulting quantizers.

研究动机与目标

• 开发一种适用于从量化线性测量中进行高维估计的可处理且高效的方法，尤其适用于非规则量化或测量矩阵过完备或欠完备的情况。
• 实现对非规则标量量化器（如模运算或分箱量化器）的使用，这些量化器此前因一致集非凸而难以在高维估计中处理。
• 在随机 i.i.d. 测量矩阵下，利用状态演化形式化方法对估计算法的性能进行准确表征。
• 为基于 GAMP 的重建专门设计 MSE 最优的标量量化器，而非仅针对测量量化本身。
• 通过实验表明，非规则量化与 GAMP 结合在过采样与压缩感知场景中均优于标准规则量化器，实现更优的率失真性能。

提出的方法

• GAMP 通过高斯近似扩展信念传播，以处理非线性输出信道，并将标量量化作为输出信道模型的一部分。
• 该算法采用贝叶斯框架，对信号分量施加 i.i.d. 先验，并通过近似高斯更新在信号域与测量域之间迭代传递消息。
• 非规则量化器被建模为具有不相交区间单元的输出信道，使 GAMP 能够处理复杂量化区域，而无需启发式噪声模型。
• 使用状态演化（SE）方法，可分析预测在大维 i.i.d. 随机测量矩阵下 GAMP 的渐近均方误差（MSE）性能。
• 通过将量化器视为测量信道的一部分并最小化 SE 预测的重建 MSE，实现量化器的优化，从而得到针对 GAMP 的 MSE 最优量化器。
• 该方法计算高效，每轮迭代仅需与 A 和 A^T 的矩阵-向量乘法，实际中通常在 10–20 次迭代内收敛。

实验结果

研究问题

• RQ1 GAMP 能否为从非规则标量量化器（如模运算或分箱量化器）中进行高维估计提供一种可处理且有效的解决方案，而这些量化器在传统方法下难以实现？
• RQ2 在渐近条件下，状态演化能否准确预测 GAMP 的性能，特别是在测量系统过完备或欠完备时？
• RQ3 在过采样与压缩感知场景中，基于 GAMP 的重建是否在 MSE 方面显著优于传统线性方法与基追踪方法？
• RQ4 能否专门针对 GAMP 重建设计量化器以最小化重建 MSE（而非仅测量量化 MSE），并由此实现更优的率失真性能？
• RQ5 在相关或稀疏信号模型中，非规则量化与 GAMP 结合时对率失真性能有何影响？

主要发现

• 在 16 级均匀量化下，GAMP 在压缩感知中所有 m/n 取值下均显著低于线性 MMSE 与基追踪去噪（BPDN）的 MSE，性能提升稳定达数 dB。
• 在相同比特率下，通过状态演化优化的分箱（非规则）量化器与 GAMP 配合使用时，其失真显著低于规则均匀量化器，展现出关键的率失真优势。
• GAMP 的性能可被状态演化准确预测，预测 MSE 在不同信噪比与测量比下均与实测结果高度吻合。
• 使用 p=4 阶矩的基追踪去量化器（BPDQ）在高 m/n 条件下较 BPDN 提升约 2 dB 的 MSE，但 GAMP 在整个 m/n 范围内仍优于两者。
• 使用如模运算量化器等非规则量化器可在相关数据场景中实现性能提升，且 GAMP 是首个可计算处理此类量化结构的实用方法。
• 通过状态演化进行量化器优化，可得到针对 GAMP 的 MSE 最优量化器，且其重建性能优于仅针对测量量化设计的量化器。