[论文解读] Hybrid Approximate Message Passing

Sundeep Rangan, Alyson K. Fletcher+3 more|arXiv (Cornell University)|Nov 10, 2011

Bayesian Modeling and Causal Inference参考文献 43被引用 7

一句话总结

本文提出混合广义近似消息传递（HyGAMP），一种将近似消息传递（AMP）与标准的环状信念传播（BP）统一的框架，通过将图模型边划分为强依赖和弱依赖两类。通过对弱边应用高斯和二次AMP近似，对强边执行精确消息传递，HyGAMP 实现了在高维模型中高效且可分析推断与优化，已在组稀疏性和多项式逻辑回归任务中展现出性能提升。

ABSTRACT

Gaussian and quadratic approximations of message passing algorithms on graphs have attracted considerable recent attention due to their computational simplicity, analytic tractability, and wide applicability in optimization and statistical inference problems. This paper presents a systematic framework for incorporating such approximate message passing (AMP) methods in general graphical models. The key concept is a partition of dependencies of a general graphical model into strong and weak edges, with the weak edges representing interactions through aggregates of small, linearizable couplings of variables. AMP approximations based on the Central Limit Theorem can be readily applied to aggregates of many weak edges and integrated with standard message passing updates on the strong edges. The resulting algorithm, which we call hybrid generalized approximate message passing (HyGAMP), can yield significantly simpler implementations of sum-product and max-sum loopy belief propagation. By varying the partition of strong and weak edges, a performance--complexity trade-off can be achieved. Group sparsity and multinomial logistic regression problems are studied as examples of the proposed methodology.

研究动机与目标

• 通过支持具有结构化依赖关系的模型推断，解决现有 AMP 方法假设变量独立且测量条件独立的局限性。
• 构建一个通用框架，将近似消息传递（AMP）与图模型中具有混合边类型的经典环状信念传播（BP）相结合。
• 通过允许用户将边划分为强依赖（精确 BP）和弱依赖（AMP 近似）子集，实现性能与复杂度之间的权衡。
• 将 turbo-AMP 方法从求和-乘积扩展至最大-求和消息传递，从而扩大其在优化问题中的适用范围。
• 将先前的 AMP 方法推广至处理向量值变量节点和复杂因子图，提升其在实际场景中的适用性。

提出的方法

• 将图模型划分为强边和弱边，其中弱边代表变量间的微小、可线性化的耦合。
• 利用中心极限定理对弱边消息应用高斯近似，简化均值与方差的计算。
• 通过最小二乘法估计参数，对弱边上的最大-求和消息传递使用二次近似。
• 将基于 AMP 的弱边近似与强边上的标准求和-乘积或最大-求和环状 BP 更新规则相结合。
• 推导求和-乘积与最大-求和变体的消息更新规则，获得后验均值、方差和对数似然比的闭式表达式。
• 通过推导精确的消息更新规则，确保与现有 GAMP 和 turbo-AMP 的一致性，使其在特定假设下退化为已知形式。

实验结果

研究问题

• RQ1 如何系统性地将近似消息传递（AMP）扩展至具有依赖变量和测量的图模型？
• RQ2 通过将图模型边划分为强依赖与弱依赖，可实现怎样的性能-复杂度权衡？
• RQ3 AMP 近似能否有效与标准环状信念传播结合，用于推断（求和-乘积）与优化（最大-求和）？
• RQ4 在组稀疏性与多项式逻辑回归任务中，所提出的 HyGAMP 算法与现有方法相比，在准确性和计算效率方面表现如何？
• RQ5 在何种理论条件下，对弱边采用的高斯与二次近似能产生准确且稳定的消息更新？

主要发现

• HyGAMP 通过用解析可处理的 AMP 近似替代弱边上的复杂消息更新，显著简化了求和-乘积与最大-求和环状信念传播。
• 对弱边采用高斯与二次近似，可获得后验均值、方差与对数似然比的闭式表达式，从而降低计算复杂度。
• 在组稀疏性问题中，HyGAMP 在显著降低计算量的同时，性能可与精确 BP 相当，尤其当弱边代表大量微小耦合时优势明显。
• 在多项式逻辑回归中，HyGAMP 能够实现准确的后验众数估计并具备稳定收敛性，其有效性通过推导出的消息更新方程得到验证。
• 该框架通过将 turbo-AMP 扩展至最大-求和消息传递与向量值节点，实现了对优化问题更广泛的应用。
• 理论一致性得以保持：在适当极限下，HyGAMP 消息更新规则退化为已知的 GAMP 与 BP 形式，验证了其正确性与鲁棒性。