[论文解读] Message Passing Algorithms for Compressed Sensing: I. Motivation and Construction

David L. Donoho, Arian Maleki+1 more|ArXiv.org|Nov 22, 2009

Sparse and Compressive Sensing Techniques参考文献 12被引用 24

一句话总结

本文提出近似消息传递（AMP）作为一种低复杂度的迭代算法，用于压缩感知，其推导基于压缩感知问题的因子图模型上的和-积信念传播。通过大系统极限近似，该文建立了AMP与基追踪（basis pursuit）之间的严格联系，表明AMP在计算效率方面实现了接近最优的恢复性能。

ABSTRACT

In a recent paper, the authors proposed a new class of low-complexity iterative thresholding algorithms for reconstructing sparse signals from a small set of linear measurements \cite{DMM}. The new algorithms are broadly referred to as AMP, for approximate message passing. This is the first of two conference papers describing the derivation of these algorithms, connection with the related literature, extensions of the original framework, and new empirical evidence. In particular, the present paper outlines the derivation of AMP from standard sum-product belief propagation, and its extension in several directions. We also discuss relations with formal calculations based on statistical mechanics methods.

研究动机与目标

• 为压缩感知中的稀疏信号恢复开发一种低复杂度的基追踪替代算法。
• 从压缩感知问题的因子图表示中，通过和-积信念传播推导AMP算法。
• 在大系统极限下，证明在信念传播框架中使用拉普拉斯先验可实现基追踪解的恢复。
• 建立AMP与非严格统计力学方法（如复制法和TAP方程）之间的联系。
• 通过状态演化分析为AMP的性能提供理论基础，实现在高维极限下对算法行为的预测。

提出的方法

• 使用拉普拉斯先验和确定性测量约束，构建稀疏信号的联合概率分布，参数化为精度参数β。
• 在包含变量节点（信号分量）和因子节点（测量值）的完全二分因子图上应用和-积信念传播。
• 利用中心极限定理论证，将高维消息传递近似为标量参数（均值和方差），从而降低计算复杂度。
• 取极限β → ∞，以恢复基追踪问题，此时后验概率集中在ℓ₁-最小化解上。
• 通过将消息近似为均值和方差的高斯分布，推导出AMP更新规则，导致迭代阈值操作。
• 建立状态演化方程，以追踪迭代过程中估计值的均方误差，从而实现在大系统极限下对性能的预测。

实验结果

研究问题

• RQ1 信念传播如何适应压缩感知中典型的密集随机测量矩阵？
• RQ2 在大系统极限下，近似消息传递与基追踪问题之间存在何种关系？
• RQ3 在信念传播框架中使用拉普拉斯先验如何导致等价于ℓ₁-最小化的解？
• RQ4 AMP与非严格统计力学方法（如复制法和TAP方程）之间存在何种联系？
• RQ5 状态演化能否提供一个可靠且可分析的框架，用于预测AMP在高维设置下的性能？

主要发现

• AMP被推导为压缩感知因子图模型上和-积信念传播的近似，实现了稀疏信号的高效恢复。
• 该算法在计算复杂度显著降低的前提下，实现了与基追踪相当的近似最优稀疏性-欠采样权衡。
• 在大系统极限下，信念传播消息收敛于由均值和方差表征的高斯分布，从而实现标量状态演化追踪。
• 状态演化方程能准确预测AMP在迭代过程中的均方误差，提供定量性能分析工具。
• 状态演化的固定点与统计力学中复制法所得结果一致，验证了形式化方法的严谨性，并赋予其算法基础。
• 尽管AMP是在渐近条件下推导的，但在包含数千个变量和数百个测量值的有限尺寸问题中仍表现良好。