[论文解读] Estimation with Random Linear Mixing, Belief Propagation and Compressed Sensing

Sundeep Rangan|arXiv (Cornell University)|Jan 13, 2010

Sparse and Compressive Sensing Techniques参考文献 29被引用 21

一句话总结

该论文将松弛信念传播（BP）扩展至线性混合估计问题中的一般非AWGN输出信道，提供了详细的方程，并通过状态演化（state evolution）证明了其渐近最优性。结果表明，松弛BP收敛至状态演化方程的上不动点，在不动点唯一时达到最小均方误差，该方法在压缩感知和有界噪声估计中具有应用价值。

ABSTRACT

We apply Guo and Wang's relaxed belief propagation (BP) method to the estimation of a random vector from linear measurements followed by a componentwise probabilistic measurement channel. Relaxed BP uses a Gaussian approximation in standard BP to obtain significant computational savings for dense measurement matrices. The main contribution of this paper is to extend the relaxed BP method and analysis to general (non-AWGN) output channels. Specifically, we present detailed equations for implementing relaxed BP for general channels and show that relaxed BP has an identical asymptotic large sparse limit behavior as standard BP, as predicted by the Guo and Wang's state evolution (SE) equations. Applications are presented to compressed sensing and estimation with bounded noise.

研究动机与目标

• 解决在密集测量矩阵下标准信念传播在线性混合估计中的计算不可行性问题。
• 将原本仅限于AWGN信道的松弛BP扩展至具有任意条件分布的一般（非AWGN）输出信道。
• 针对任意测量比 β = m/n，提供松弛BP的严格收敛性分析，基于状态演化方程。
• 建立松弛BP在状态演化不动点唯一时渐近达到最小均方误差的结论。
• 通过引入非高斯和离散输出信道，拓展在压缩感知和有界噪声估计中的应用范围。

提出的方法

• 通过在输出节点用一般消息传递方程替代高斯近似，将Guo和Wang的松弛BP框架适配至任意输出信道。
• 推导出针对分量可分先验和一般测量信道 pY|Z(yi|zi) 的显式松弛BP更新方程。
• 在输出节点采用高斯近似以线性化消息计算，与标准BP相比显著降低计算复杂度。
• 应用状态演化（SE）分析以追踪迭代过程中的均方误差（MSE），证明其收敛至SE方程的上不动点。
• 在消息计算中引入简化策略，进一步降低复杂度而不损失精度。
• 证明松弛BP的渐近MSE收敛至SE方程的上不动点，而下不动点则提供了MSE的理论下界。

实验结果

研究问题

• RQ1 如何在保持计算效率的前提下，将松弛信念传播推广至非AWGN输出信道？
• RQ2 在大型稀疏随机混合矩阵中，松弛BP在任意测量比 β = m/n 下的渐近行为如何？
• RQ3 在大系统极限下，松弛BP是否能达到最小均方误差？在何种条件下可以实现？
• RQ4 状态演化方程的上、下不动点如何与松弛BP的性能及理论最小MSE相关联？
• RQ5 松弛BP框架能否在非高斯噪声的压缩感知和有界噪声估计问题中有效应用？

主要发现

• 对于任意测量比 β = m/n，松弛BP均收敛至状态演化方程的上不动点。
• 状态演化方程的下不动点始终为可达到的最小均方误差提供下界。
• 当状态演化不动点唯一时，松弛BP实现渐近最小均方误差，证明了其在该区域的最优性。
• 松弛BP在大稀疏极限下的行为与标准BP完全一致，确认了在相同条件下其理论等价性。
• 该方法通过引入非高斯和离散输出信道，实现了在压缩感知和有界噪声问题中的高效估计。
• 通过在输出节点采用高斯近似，计算复杂度显著降低，使该方法可扩展至密集测量矩阵。