[论文解读] Generalized Memory Approximate Message Passing

Feiyan Tian, Lei Liu+1 more|arXiv (Cornell University)|Oct 12, 2021

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出了一种通用的广义记忆近似消息传递（GMAMP）框架，将正交AMP/VAMP、GVAMP和记忆AMP统一为特例。通过基于记忆的线性与非线性估计器强制实现局部正交性，GMAMP在低复杂度下实现了贝叶斯最优性能，证明了当存在唯一不动点时，贝叶斯最优GMAMP（BO-GMAMP）在酉不变矩阵下可达到副本最小均方误差。

ABSTRACT

Generalized approximate message passing (GAMP) is a promising technique for unknown signal reconstruction of generalized linear models (GLM). However, it requires that the transformation matrix has independent and identically distributed (IID) entries. In this context, generalized vector AMP (GVAMP) is proposed for general unitarily-invariant transformation matrices but it has a high-complexity matrix inverse. To this end, we propose a universal generalized memory AMP (GMAMP) framework including the existing orthogonal AMP/VAMP, GVAMP, and memory AMP (MAMP) as special instances. Due to the characteristics that local processors are all memory, GMAMP requires stricter orthogonality to guarantee the asymptotic IID Gaussianity and state evolution. To satisfy such orthogonality, local orthogonal memory estimators are established. The GMAMP framework provides a principle toward building new advanced AMP-type algorithms. As an example, we construct a Bayes-optimal GMAMP (BO-GMAMP), which uses a low-complexity memory linear estimator to suppress the linear interference, and thus its complexity is comparable to GAMP. Furthermore, we prove that for unitarily-invariant transformation matrices, BO-GMAMP achieves the replica minimum (i.e., Bayes-optimal) MSE if it has a unique fixed point.

研究动机与目标

• 为解决GAMP对i.i.d.变换矩阵的依赖性限制，以及GVAMP因矩阵求逆导致的高计算复杂度问题。
• 将现有的AMP类算法——正交AMP/VAMP、GVAMP和记忆AMP——统一为一个可泛化的单一框架。
• 建立一种基于记忆的估计器架构，确保渐近i.i.d.高斯性，并在更严格的正交性约束下实现状态演化。
• 开发一种低复杂度、贝叶斯最优的变体（BO-GMAMP），在保持GAMP复杂度水平的同时，实现对酉不变矩阵的最优性能。
• 证明在酉不变矩阵下，当存在唯一不动点时，BO-GMAMP可达到副本最小均方误差（即贝叶斯最优性）。

提出的方法

• 提出一种广义记忆AMP（GMAMP）框架，采用基于记忆的线性与非线性估计器，强制实现局部正交性并确保渐近i.i.d.高斯性。
• 引入正交记忆线性估计器（OMLE）和正交记忆非线性估计器（OMNLE），以在迭代过程中保持正交性。
• 利用低复杂度记忆线性估计器构建贝叶斯最优GMAMP（BO-GMAMP），以抑制线性干扰，避免昂贵的矩阵求逆。
• 推导出BO-GMAMP的状态演化方程，表明估计误差的均值与方差按确定性递推关系演化。
• 采用长度为$L$的阻尼技术以提升收敛稳定性与速度，尤其在病态系统中表现更优。
• 采用双估计器架构：基于记忆的线性估计器用于干扰抑制，基于记忆的非线性估计器用于信号重建，两者均迭代更新。

实验结果

研究问题

• RQ1 能否构建一个统一框架，将正交AMP/VAMP、GVAMP和记忆AMP等现有AMP类算法统一于同一理论结构之下？
• RQ2 如何设计基于记忆的估计器，以在AMP算法的状态演化中保持正交性并确保渐近i.i.d.高斯性？
• RQ3 在非i.i.d.变换矩阵的广义线性模型中，实现贝叶斯最优性所需的最小计算复杂度是多少？
• RQ4 在酉不变矩阵下，当存在唯一不动点时，所提出的BO-GMAMP算法是否可达到副本最小均方误差？
• RQ5 系统参数如条件数$\kappa$、压缩比$\delta$和阻尼长度$L$如何影响BO-GMAMP的收敛速度与性能？

主要发现

• 当算法存在唯一不动点时，BO-GMAMP在酉不变变换矩阵下可达到副本最小均方误差（即贝叶斯最优性）。
• 当$\kappa = 10, 30, 50$时，BO-GMAMP分别在约25、45和60次迭代内收敛，阻尼长度$L=3$，表明条件数越大收敛越慢。
• 当$\delta = 0.4, 0.7, 1$时，BO-GMAMP分别在约65、20和12次迭代内收敛，表明较低压缩比因信息损失而延缓收敛。
• 与$L=2$相比，$L=3$时BO-GMAMP收敛更快；当$\delta=1$时，$L=2$与$L=3$的性能曲线几乎重合，表明在全采样条件下接近最优收敛。
• BO-GMAMP的状态演化被理论推导并验证，其预测的均方误差行为高度准确，验证了理论框架的有效性。
• BO-GMAMP的复杂度与GAMP相当，因其采用低复杂度记忆线性估计器，避免了GVAMP中高成本的矩阵求逆。