[论文解读] Memory Approximate Message Passing

Lei Liu, Shunqi Huang+1 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Adaptive Filtering Techniques参考文献 33被引用 4

一句话总结

该论文提出了一种低复杂度、贝叶斯最优的算法——记忆近似消息传递（MAMP），适用于高维线性系统中具有右酉不变矩阵的情况。通过引入长记忆匹配滤波器并实现估计误差的正交化，MAMP 在保持 AMP 级复杂度的同时，实现了与 OAMP/VAMP 相当的性能——而后者此前需要高复杂度的线性最小均方误差（LMMSE）估计。

ABSTRACT

Approximate message passing (AMP) is a low-cost iterative parameter-estimation technique for certain high-dimensional linear systems with non-Gaussian distributions. However, AMP only applies to independent identically distributed (IID) transform matrices, but may become unreliable for other matrix ensembles, especially for ill-conditioned ones. To handle this difficulty, orthogonal/vector AMP (OAMP/VAMP) was proposed for general right-unitarily-invariant matrices. However, the Bayes-optimal OAMP/VAMP requires high-complexity linear minimum mean square error estimator. To solve the disadvantages of AMP and OAMP/VAMP, this paper proposes a memory AMP (MAMP), in which a long-memory matched filter is proposed for interference suppression. The complexity of MAMP is comparable to AMP. The asymptotic Gaussianity of estimation errors in MAMP is guaranteed by the orthogonality principle. A state evolution is derived to asymptotically characterize the performance of MAMP. Based on the state evolution, the relaxation parameters and damping vector in MAMP are optimized. For all right-unitarily-invariant matrices, the optimized MAMP converges to OAMP/VAMP, and thus is Bayes-optimal if it has a unique fixed point. Finally, simulations are provided to verify the validity and accuracy of the theoretical results.

研究动机与目标

• 解决 AMP 算法在非 i.i.d. 或病态矩阵下失效的问题。
• 克服 OAMP/VAMP 所依赖的高成本线性最小均方误差估计带来的高计算开销。
• 为一般右酉不变矩阵设计一种低复杂度算法，实现贝叶斯最优性。
• 通过严格的正交性约束，确保估计误差的渐近高斯性。
• 优化松弛参数与阻尼策略，实现在不破坏统计特性的前提下快速且稳定的收敛。

提出的方法

• 提出一种记忆 AMP（MAMP），用长记忆匹配滤波器替代 AMP 中的标准匹配滤波器，以抑制干扰。
• 实施严格的正交性条件，即当前输出的估计误差与所有先前输入的估计误差正交，从而确保误差的渐近高斯性。
• 推导出协方差矩阵的状态演化方程，以分析表征 MAMP 的性能并指导参数优化。
• 引入松弛参数与阻尼向量，以提升收敛速度，同时保持正交性与高斯性。
• 利用状态演化方法优化参数，使得当存在唯一不动点时，MAMP 能收敛至 OAMP/VAMP 的性能。
• 采用作用于正交输出的阻尼策略，保持准确状态演化所必需的统计特性。

实验结果

研究问题

• RQ1 能否设计一种低复杂度的消息传递算法，在无需高复杂度 LMMSE 估计的前提下，实现对一般右酉不变矩阵的贝叶斯最优性？
• RQ2 如何结合记忆与正交化，以在迭代算法中保持估计误差的渐近高斯性？
• RQ3 何种参数调优策略（松弛与阻尼）可确保基于记忆的 AMP 实现稳定且快速的收敛？
• RQ4 MAMP 的状态演化是否能准确预测其在不同矩阵条件数下的实际性能？
• RQ5 在病态矩阵条件下，MAMP 与 CAMP 和 OAMP/VAMP 相比，在收敛速度与准确性方面表现如何？

主要发现

• 当 MAMP 收敛至唯一不动点时，其对所有右酉不变矩阵均实现贝叶斯最优性，性能与 OAMP/VAMP 完全一致。
• MAMP 的状态演化能准确预测其在各种矩阵条件数（包括 κ=100）下的均方误差（MSE）性能。
• 在松弛参数与阻尼长度 L=3 优化后，MAMP 的收敛速度优于 CAMP，且性能与 OAMP/VAMP 相当。
• 对正交输出施加阻尼可保持估计误差的渐近高斯性，而 CAMP 中对后验输出的阻尼会破坏该性质。
• 对于病态矩阵（κ=100），MAMP 保持稳定并能收敛，而 CAMP 在 κ>15 时发生发散。
• 当阻尼长度 L≥3 时，MAMP 的 MSE 几乎保持不变，表明 L=3 已足够实现最优收敛速度与稳定性。