[论文解读] Fast Dual Variational Inference for Non-Conjugate LGMs

Mohammad Emtiyaz Khan, Aleksandr Y. Aravkin+2 more|arXiv (Cornell University)|Jun 5, 2013

Gaussian Processes and Bayesian Inference被引用 3

一句话总结

本文通过将变分推断问题重新表述为仅含 O(N) 参数的凸对偶优化，提出了一种用于非共轭潜变量高斯模型的快速对偶变分推断方法，显著加快了收敛速度，同时保持了精度。该方法利用 Fenchel 共轭和对偶分解，在高斯过程分类和潜变量高斯马尔可夫随机场等多种模型中实现了可扩展的推断。

ABSTRACT

Latent Gaussian models (LGMs) are widely used in statistics and machine learning. Bayesian inference in non-conjugate LGMs is difficult due to intractable integrals involving the Gaussian prior and non-conjugate likelihoods. Algorithms based on variational Gaussian (VG) approximations are widely employed since they strike a favorable balance between accuracy, generality, speed, and ease of use. However, the structure of the optimization problems associated with these approximations remains poorly understood, and standard solvers take too long to converge. We derive a novel dual variational inference approach that exploits the convexity property of the VG approximations. We obtain an algorithm that solves a convex optimization problem, reduces the number of variational parameters, and converges much faster than previous methods. Using real-world data, we demonstrate these advantages on a variety of LGMs, including Gaussian process classification, and latent Gaussian Markov random fields.

研究动机与目标

• 解决标准变分推断在非共轭潜变量高斯模型（LGMs）中收敛缓慢的问题，其中由于非高斯似然函数的存在，精确贝叶斯推断不可行。
• 克服现有变分高斯（VG）近似方法在计算效率与精度之间的权衡问题，这些方法要么限制协方差结构（导致精度损失），要么因高维参数化而收敛缓慢。
• 开发一种通用且可扩展的推断方法，超越高斯过程模型，通过将变分参数数量从 O(L²) 减少到 O(N) 的同时保持凸性。
• 通过利用凸对偶性和 Fenchel 共轭的闭式解，实现在大规模 LGM 中快速且可靠的推断。

提出的方法

• 将变分推断问题表述为使用拉格朗日松弛法处理连接变分均值和协方差与似然参数之间约束的对偶优化。
• 引入对偶变量 α 和 λ 以处理线性约束 h = Wm 和 ρ = diag(WVWᵀ)，通过强对偶性将原始非凸问题转化为凸对偶问题。
• 利用负对数似然项 fₙ(hₙ, ρₙ) 的 Fenchel 共轭，推导出原始变量（m*, V*）关于对偶变量的闭式解，从而实现高效优化。
• 将对偶优化简化为仅含 2N 个变量（α, λ）的严格凸问题，其中 N 为观测数量，实现 O(N) 参数化并支持快速收敛。
• 利用 Fenchel 共轭 fₙ* 的有效定义域作为自然障碍函数，简化优化过程并确保数值稳定性。
• 通过 m* = μ − ΣWᵀα 和 V* = (Σ⁻¹ + Wᵀdiag(λ)W)⁻¹ 从最优对偶变量重构原始变分近似（m*, V*）。

实验结果

研究问题

• RQ1 我们能否在不牺牲凸性或收敛速度的前提下，将非共轭 LGM 中的变分参数数量从 O(L²) 减少到 O(N)？
• RQ2 对变分推断问题进行对偶分解，是否能相比标准求解器和坐标上升法，在非共轭 LGM 中实现更快的收敛速度？
• RQ3 所提出的方法能否推广至高斯过程模型之外的其他 LGM，如潜变量高斯马尔可夫随机场和贝叶斯广义线性模型？
• RQ4 似然函数的 Fenchel 共轭如何有助于构造一个障碍函数，从而简化对偶优化问题？

主要发现

• 所提出的对偶变分推断方法将优化变量数量从 O(L²) 减少到 O(N)，其中 L 为潜变量维度，N 为观测数量，显著加快了收敛速度。
• 对偶问题为严格凸问题，仅涉及 2N 个参数，可使用标准光滑优化方法实现快速收敛。
• 该方法在真实世界数据上实现了快速收敛，其速度优于 Khan（2012）提出的最先进坐标上升方法，尤其在非高斯似然设置下表现更优。
• 该方法具有通用性，不限于高斯过程模型，已成功应用于高斯过程分类、潜变量高斯马尔可夫随机场及其他 LGM。
• 对于常见似然函数（如伯努利、泊松），负对数似然项的 Fenchel 共轭 fₙ* 可以显式表示，从而支持高效的对偶优化。
• 对偶形式通过拉格朗日乘子自然地纳入约束，确保所得变分近似保持有效且准确。