[论文解读] Fixed Points of Generalized Approximate Message Passing with Arbitrary Matrices

Sundeep Rangan, Philip Schniter+3 more|arXiv (Cornell University)|Jan 26, 2013

Sparse and Compressive Sensing Techniques参考文献 65被引用 7

一句话总结

本文对具有任意矩阵的广义近似消息传递（GAMP）中的固定点提供了严格的表征，表明最大和GAMP的固定点对应于受限后验最大化问题的临界点，而和积GAMP的固定点则是自由能泛函的临界点。该分析将GAMP与优化和信念传播联系起来，实现了对非独立同分布随机矩阵以外情形的精确性能预测。

ABSTRACT

The estimation of a random vector with independent components passed through a linear transform followed by a componentwise (possibly nonlinear) output map arises in a range of applications. Approximate message passing (AMP) methods, based on Gaussian approximations of loopy belief propagation, have recently attracted considerable attention for such problems. For large random transforms, these methods exhibit fast convergence and admit precise analytic characterizations with testable conditions for optimality, even for certain non-convex problem instances. However, the behavior of AMP under general transforms is not fully understood. In this paper, we consider the generalized AMP (GAMP) algorithm and relate the method to more common optimization techniques. This analysis enables a precise characterization of the GAMP algorithm fixed-points that applies to arbitrary transforms. In particular, we show that the fixed points of the so-called max-sum GAMP algorithm for MAP estimation are critical points of a constrained maximization of the posterior density. The fixed-points of the sum-product GAMP algorithm for estimation of the posterior marginals can be interpreted as critical points of a certain free energy.

研究动机与目标

• 理解在任意非随机测量矩阵下广义近似消息传递（GAMP）的行为，将先前局限于大样本独立同分布矩阵的研究结果加以扩展。
• 正式建立GAMP固定点与优化原理之间的关系，特别是最大后验概率（MAP）估计和变分自由能最小化。
• 提供一个统一框架，通过约束优化问题的临界点分析，表征最大和GAMP与和积GAMP两种变体。
• 建立理论条件，确保GAMP固定点在贝叶斯推断与估计问题中对应于有意义的解。

提出的方法

• 为和积GAMP算法推导出一种改进的拉格朗日形式，结合高斯近似与消息更新动力学。
• 利用变分法与泛函导数分析拉格朗日函数的临界点，将其与GAMP算法的固定点联系起来。
• 证明最大和GAMP的固定点是涉及后验密度对数的受限后验最大化问题的临界点。
• 表明和积GAMP的固定点对应于从后验分布导出的特定自由能泛函的临界点。
• 通过分析目标函数与约束的结构，将该方法应用于MAP估计与后验边际估计。
• 采用基于扰动的方法证明固定点的平稳性条件，依赖于拉格朗日框架中的链式法则与固定点方程。

实验结果

研究问题

• RQ1 具有任意矩阵的GAMP固定点与贝叶斯估计中的优化原理有何关系？
• RQ2 最大和GAMP算法能否被解释为求解后验密度的受限最大化问题？
• RQ3 是否存在一个变分自由能泛函，其临界点与和积GAMP算法的固定点相对应？
• RQ4 在何种条件下，GAMP固定点能与一般线性模型下最优贝叶斯估计器保持一致？
• RQ5 如何在大样本独立同分布矩阵的渐近范围之外，对GAMP的行为进行严格分析？

主要发现

• 证明最大和GAMP算法的固定点是受限后验密度最大化问题的临界点，提供了严谨的优化解释。
• 和积GAMP算法的固定点对应于从后验分布导出的特定自由能泛函的临界点。
• 该分析通过拉格朗日松弛方法，正式建立了GAMP与变分优化技术（如ADMM和信念传播）之间的联系。
• 该方法能够对任意矩阵下的GAMP收敛性与性能进行精确表征，而不仅限于大样本独立同分布集合。
• 固定点方程通过泛函导数与扰动分析推导得出，在一般条件下证明了其平稳性。
• 结果适用于MAP估计与后验边际估计，统一了不同推断任务下对GAMP的理论理解。