[论文解读] Generalized Approximate Message Passing for Estimation with Random Linear Mixing

Sundeep Rangan|arXiv (Cornell University)|Oct 25, 2010

Sparse and Compressive Sensing Techniques参考文献 50被引用 48

一句话总结

本文提出了广义近似消息传递（GAMP），一种用于从非线性、随机线性测量中估计信号的计算高效算法。该方法将近似消息传递扩展至任意输入和输出分布，通过保持状态演化方程在非凸问题中依然成立，实现了精确的性能预测。

ABSTRACT

We consider the estimation of an i.i.d.\ random vector observed through a linear transform followed by a componentwise, probabilistic (possibly nonlinear) measurement channel. A novel algorithm, called generalized approximate message passing (GAMP), is presented that provides computationally efficient approximate implementations of max-sum and sum-problem loopy belief propagation for such problems. The algorithm extends earlier approximate message passing methods to incorporate arbitrary distributions on both the input and output of the transform and can be applied to a wide range of problems in nonlinear compressed sensing and learning. Extending an analysis by Bayati and Montanari, we argue that the asymptotic componentwise behavior of the GAMP method under large, i.i.d. Gaussian transforms is described by a simple set of state evolution (SE) equations. From the SE equations, one can \emph{exactly} predict the asymptotic value of virtually any componentwise performance metric including mean-squared error or detection accuracy. Moreover, the analysis is valid for arbitrary input and output distributions, even when the corresponding optimization problems are non-convex. The results match predictions by Guo and Wang for relaxed belief propagation on large sparse matrices and, in certain instances, also agree with the optimal performance predicted by the replica method. The GAMP methodology thus provides a computationally efficient methodology, applicable to a large class of non-Gaussian estimation problems with precise asymptotic performance guarantees.

研究动机与目标

• 解决在具有线性混合和非线性测量的高维估计问题中精确贝叶斯推断的计算不可行性。
• 开发一种可扩展的算法，将向量估计分解为迭代的标量运算，同时保持精度。
• 通过适用于任意分布的状态演化方程，对算法性能进行严格的渐近分析。
• 在非线性、非高斯设置下，实现对最大后验概率（MAP）和最小均方误差（MMSE）估计的性能预测。

提出的方法

• 提出 GAMP 作为近似消息传递的扩展，通过分量估计和线性变换处理任意输入和输出分布。
• 利用环状信念传播近似推导信号分量后验均值和方差的迭代更新。
• 引入状态演化（SE）方程，描述在大尺寸 i.i.d. 高斯测量矩阵下 GAMP 的渐近分量行为。
• 借助 Stein 引理和条件高斯分布推导 SE 方程，实现性能的解析预测。
• 通过统一的更新规则支持算法的和-乘积（MMSE）与最大-最大（MAP）变体。
• 通过将每次迭代限制在标量运算和矩阵-向量乘法，避免高维积分，确保计算效率。

实验结果

研究问题

• RQ1 近似消息传递能否推广至处理非线性估计问题中的任意输入和输出分布？
• RQ2 状态演化框架是否能准确预测 GAMP 在非凸和非高斯设置下的渐近性能？
• RQ3 GAMP 的性能与统计物理中复制法预测的最优界相比如何？
• RQ4 状态演化方程能否为一般 i.i.d. 高斯变换和任意非线性信道推导并证明其有效性？
• RQ5 在大规模估计问题中，GAMP 的计算复杂度和收敛行为如何？

主要发现

• GAMP 为具有任意输入和输出分布的非线性估计提供了一种计算高效的环状信念传播近似。
• 在大尺寸 i.i.d. 高斯变换下，GAMP 的渐近性能由一组标量状态演化方程精确描述。
• 状态演化分析可精确预测分量性能指标，如均方误差和检测精度。
• 在某些情况下，GAMP 的性能预测与复制法结果一致，表明其在特定问题上接近最优。
• 该算法收敛迅速，通常在 10–20 次迭代内完成，即使在底层优化问题为非凸时仍保持精度。
• 理论框架推广了先前的近似消息传递方法，将其适用范围扩展至广泛的非线性压缩感知和学习问题。