[论文解读] Faster Stochastic Variational Inference using Proximal-Gradient Methods with General Divergence Functions

Mohammad Emtiyaz Khan, Reza Babanezhad+3 more|arXiv (Cornell University)|Oct 31, 2015

Stochastic Gradient Optimization Techniques参考文献 21被引用 17

一句话总结

本文提出了一种用于变分推断的随机近似梯度方法，利用广义散度函数来利用变分参数空间的几何结构，即使在非共轭模型中也能实现闭式更新。该方法在基准数据集上实现了更快的收敛速度和更优的性能，其新颖的收敛速率分析将现有镜像下降结果推广至非凸设置，使用了更广泛的散度类。

ABSTRACT

Several recent works have explored stochastic gradient methods for variational inference that exploit the geometry of the variational-parameter space. However, the theoretical properties of these methods are not well-understood and these methods typically only apply to conditionally-conjugate models. We present a new stochastic method for variational inference which exploits the geometry of the variational-parameter space and also yields simple closed-form updates even for non-conjugate models. We also give a convergence-rate analysis of our method and many other previous methods which exploit the geometry of the space. Our analysis generalizes existing convergence results for stochastic mirror-descent on non-convex objectives by using a more general class of divergence functions. Beyond giving a theoretical justification for a variety of recent methods, our experiments show that new algorithms derived in this framework lead to state of the art results on a variety of problems. Further, due to its generality, we expect that our theoretical analysis could also apply to other applications.

研究动机与目标

• 开发一种利用变分参数空间几何结构以提升优化效率的随机变分推断方法。
• 通过结合变量分裂与随机梯度，实现在非共轭模型中的闭式更新。
• 为使用广义散度函数类的近似梯度方法在非凸设置下提供收敛速率分析。
• 从理论上证明在随机镜像下降中使用非标准散度函数的合理性，这些散度函数在实践中可实现更大的步长和更快的收敛速度。
• 在真实世界数据集（如NIPS和AP）上展示该方法相对于现有方法的优越性。

提出的方法

• 该方法使用变量分裂将证据下界（ELBO）分解为共轭与非共轭项，从而实现近似梯度更新。
• 采用随机梯度以扩展至大规模数据集，使用小批量数据估计ELBO的梯度。
• 使用广义散度函数（超越Bregman散度）定义近似步骤，实现灵活的几何感知更新。
• 算法通过近似梯度步骤进行迭代更新：λ_{k+1} = argmin_{λ} [⟨∇L(λ_k), λ - λ_k⟩ + D(λ, λ_k) + (1/2)‖λ - λ_k‖_2^2]，其中D为广义散度函数。
• 该方法被应用于非共轭模型（如相关主题模型），无需对log-sum-exp项进行近似。
• 为该框架推导出收敛速率分析，将随机镜像下降推广至使用广义散度的非凸目标。

实验结果

研究问题

• RQ1 通过利用参数空间的几何结构，基于随机近似梯度的变分推断方法能否实现更快的收敛速度和更优的性能？
• RQ2 在此框架下，能否为非共轭模型推导出闭式更新？
• RQ3 在随机设置下，散度函数的选择如何影响收敛速率与步长稳定性？
• RQ4 现有方法（如SVI和镜像下降）的收敛速率能否在此框架下实现理论统一与推广？
• RQ5 在ELBO中避免对log-sum-exp项进行近似，是否能显著提升保留数据集上的似然性能？

主要发现

• 所提出的PG-SVI和PG-SVI-MF算法在NIPS和AP数据集上均实现了比均场法、delta法和拉普拉斯法更快的收敛速度和更优的保留对数似然性能。
• 在包含10个主题的NIPS数据集上，PG-SVI在10秒时达到约-3.8的保留对数似然，优于所有基线方法。
• 该方法避免了对log-sum-exp函数的近似，从而实现更精确的后验估计，并在性能上优于delta法和拉普拉斯法。
• 收敛速率分析通过允许更广泛的散度函数类（包括不满足标准Bregman假设的函数）推广了先前关于随机镜像下降的研究结果。
• 理论分析表明，收敛速度取决于ELBO的Lipschitz连续性、散度的信息几何结构以及随机梯度的方差。
• 该框架即使在非共轭模型（如相关主题模型）中也能实现简单的闭式更新，通过变量分裂对非共轭项进行线性化。