[论文解读] A Concise Tutorial on Approximate Message Passing

Qiuyun Zou, Hongwen Yang|arXiv (Cornell University)|Jan 19, 2022

Sparse and Compressive Sensing TechniquesEngineering被引用 19

一句话总结

本文全面介绍了近似消息传递（AMP）及其高级变体——OAMP、VAMP和MAMP，在高维稀疏信号恢复中的应用，适用于线性回归问题。文章从消息传递原理推导出AMP，并建立其状态演化（state evolution）以预测性能；通过OAMP和MAMP将AMP扩展至非i.i.d.测量矩阵，证明其在更广泛条件下具备收敛性和贝叶斯最优性能。

ABSTRACT

High-dimensional signal recovery of standard linear regression is a key challenge in many engineering fields, such as, communications, compressed sensing, and image processing. The approximate message passing (AMP) algorithm proposed by Donoho extit{et al} is a computational efficient method to such problems, which can attain Bayes-optimal performance in independent identical distributed (IID) sub-Gaussian random matrices region. A significant feature of AMP is that the dynamical behavior of AMP can be fully predicted by a scalar equation termed station evolution (SE). Although AMP is optimal in IID sub-Gaussian random matrices, AMP may fail to converge when measurement matrix is beyond IID sub-Gaussian. To extend the region of random measurement matrix, an expectation propagation (EP)-related algorithm orthogonal AMP (OAMP) was proposed, which shares the same algorithm with EP, expectation consistent (EC), and vector AMP (VAMP). This paper aims at giving a review for those algorithms. We begin with the worst case, i.e., least absolute shrinkage and selection operator (LASSO) inference problem, and then give the detailed derivation of AMP derived from message passing. Also, in the Bayes-optimal setting, we give the Bayes-optimal AMP which has a slight difference from AMP for LASSO. In addition, we review some AMP-related algorithms: OAMP, VAMP, and Memory AMP (MAMP), which can be applied to more general random matrices.

研究动机与目标

• 为信号处理与机器学习领域的研究人员提供关于近似消息传递（AMP）及其高级变体的统一且易于理解的教程。
• 从消息传递原理推导AMP，并利用状态演化（SE）建立其理论基础，以预测性能表现。
• 通过引入OAMP和MAMP，将AMP的应用范围从i.i.d.子高斯矩阵扩展至更一般的随机测量矩阵，提升其适用性。
• 在不同条件数下，比较MAMP与OAMP的收敛行为、计算复杂度及均方误差（MSE）性能。
• 证明这些算法的渐近MSE可被其各自的状态演化方程完全预测。

提出的方法

• 从信念传播和图形模型中的消息传递出发推导AMP，利用拉普拉斯近似简化后验推断。
• 引入状态演化（SE）作为确定性的标量递推，用于预测AMP在大系统极限下的渐近MSE。
• 提出OAMP作为AMP的改进版本，采用线性最小均方误差（LMMSE）去相关矩阵与无散度去噪器，以提升非i.i.d.矩阵下的收敛性能。
• 通过泰勒级数近似矩阵求逆并引入过去消息的记忆机制，提出MAMP（记忆AMP），以实现消息间的正交性与稳定性。
• 利用测量矩阵的谱分解指导MAMP的设计，并通过状态演化实现收敛性分析。
• 采用哈尓分布矩阵与不同条件数的数值仿真，评估MAMP与OAMP的收敛速度及归一化MSE性能。

实验结果

研究问题

• RQ1 AMP如何系统地从消息传递原理推导而来？状态演化在预测其性能中起到什么作用？
• RQ2 为何标准AMP在非i.i.d.测量矩阵下无法收敛？这一局限性如何克服？
• RQ3 OAMP的关键设计原则是什么？使其在酉不变随机矩阵下保持收敛性与最优性的原因是什么？
• RQ4 MAMP在收敛稳定性与病态矩阵适用性方面如何优于OAMP？其计算复杂度的权衡是什么？
• RQ5 MAMP与OAMP的渐近MSE在多大程度上可由其各自的状态演化方程准确预测？

主要发现

• 当测量矩阵为i.i.d.子高斯分布时，AMP在大系统极限下可实现贝叶斯最优的均方误差（MSE）性能。
• OAMP通过引入LMMSE去相关矩阵与无散度去噪器，将AMP的收敛性扩展至酉不变随机矩阵，但计算复杂度有所增加。
• MAMP通过基于记忆的矩阵求逆近似与三重消息正交性约束，实现了对更广泛随机矩阵类别的稳定收敛。
• 在条件数κ(H)逐渐增大的仿真中，MAMP与OAMP的收敛速度均下降且NMSE升高，但两者收敛至相同的固定点。
• MAMP的渐近MSE可被其状态演化方程完全预测，该方程依赖于测量矩阵的谱特性与历史消息统计特性。