[论文解读] Inference for Generalized Linear Models via Alternating Directions and Bethe Free Energy Minimization

Sundeep Rangan, Alyson K. Fletcher+2 more|arXiv (Cornell University)|Jan 8, 2015

Sparse and Compressive Sensing Techniques参考文献 63被引用 6

一句话总结

本文提出 ADMM-GAMP，一种用于广义线性模型（GLMs）的收敛推理算法，结合了增广拉格朗日乘子法（ADMM）与贝特定理自由能最小化，在大系统极限下实现收敛。通过采用双层循环结构——外层对贝特定理自由能进行线性化，内层使用 ADMM 最小化——该算法确保在严格凸、平滑惩罚下收敛至局部最小值，为任意设计矩阵下的发散 GAMP 变体提供了稳定替代方案。

ABSTRACT

Generalized Linear Models (GLMs), where a random vector $\mathbf{x}$ is observed through a noisy, possibly nonlinear, function of a linear transform $\mathbf{z}=\mathbf{Ax}$ arise in a range of applications in nonlinear filtering and regression. Approximate Message Passing (AMP) methods, based on loopy belief propagation, are a promising class of approaches for approximate inference in these models. AMP methods are computationally simple, general, and admit precise analyses with testable conditions for optimality for large i.i.d. transforms $\mathbf{A}$. However, the algorithms can easily diverge for general $\mathbf{A}$. This paper presents a convergent approach to the generalized AMP (GAMP) algorithm based on direct minimization of a large-system limit approximation of the Bethe Free Energy (LSL-BFE). The proposed method uses a double-loop procedure, where the outer loop successively linearizes the LSL-BFE and the inner loop minimizes the linearized LSL-BFE using the Alternating Direction Method of Multipliers (ADMM). The proposed method, called ADMM-GAMP, is similar in structure to the original GAMP method, but with an additional least-squares minimization. It is shown that for strictly convex, smooth penalties, ADMM-GAMP is guaranteed to converge to a local minima of the LSL-BFE, thus providing a convergent alternative to GAMP that is stable under arbitrary transforms. Simulations are also presented that demonstrate the robustness of the method for non-convex penalties as well.

研究动机与目标

• 解决广义近似消息传递（GAMP）在广义线性模型（GLMs）中面对任意设计矩阵时的不稳定性与潜在发散问题。
• 为 GLMs 开发一种收敛推理算法，保证收敛至大系统极限贝特定理自由能（LSL-BFE）的局部最小值。
• 提供一种稳定且计算高效的 GAMP 替代方案，保持消息传递算法的结构与简洁性，同时确保收敛性。
• 通过实证验证，将近似推理方法的适用范围扩展至非凸惩罚。

提出的方法

• 该方法采用双层循环算法：外层对大系统极限贝特定理自由能（LSL-BFE）进行线性化，内层使用 ADMM 最小化线性化后的 LSL-BFE。
• ADMM 被用于求解所得的凸子问题，确保在严格凸、平滑惩罚下收敛至 LSL-BFE 的局部最小值。
• 该算法保持与原始 GAMP 相似的结构，但增加了额外的最小二乘最小化步骤以提升稳定性。
• 该方法利用先验与似然函数的可分性，通过迭代更新均值与方差，实现后验边际的高效计算。
• 关键组件包括在 ADMM 框架中使用辅助变量与对偶变量，将优化问题分解为可处理的子问题。
• 该算法通过变分优化与信念传播原理推导得出，收敛性通过 LSL-BFE 的李雅普诺夫分析建立。

实验结果

研究问题

• RQ1 能否为广义线性模型开发一种收敛推理算法，使其在任意设计矩阵下保持稳定，而标准 GAMP 无法做到？
• RQ2 通过 ADMM 最小化大系统极限下的贝特定理自由能近似，是否能为凸、平滑惩罚保证收敛性？
• RQ3 当应用于非凸惩罚时，所提出的 ADMM-GAMP 方法在实际中表现如何，尽管理论收敛性未被保证？
• RQ4 线性化与 ADMM 最小化的双层结构能否在确保收敛性的同时，保持 GAMP 的计算效率与消息传递结构？

主要发现

• ADMM-GAMP 在严格凸、平滑惩罚下，保证收敛至大系统极限贝特定理自由能（LSL-BFE）的局部最小值，为发散的 GAMP 提供了稳定替代方案。
• 该算法保持与原始 GAMP 相似的结构，仅增加一个额外的最小二乘最小化步骤，维持了计算上的简洁性。
• 仿真结果表明，该方法在非凸惩罚下表现出稳健性能，显示出超越理论凸性假设的实际稳定性。
• 该方法在 GLM 推理任务中实现了准确的后验均值与方差估计，即使标准 GAMP 无法收敛。
• 理论分析证实，ADMM-GAMP 的更新规则对应于最小化自由能的变分近似，从而与既有的推理原理建立联系。