[论文解读] Convergence of Proximal-Gradient Stochastic Variational Inference under Non-Decreasing Step-Size Sequence.

Mohammad Emtiyaz Khan, Reza Babanezhad+3 more|arXiv (Cornell University)|Oct 31, 2015

Gaussian Processes and Bayesian Inference参考文献 22被引用 6

一句话总结

本文提出了一种近端梯度随机变分推断方法，利用变分下界几何结构，实现在非递减步长下的收敛性，相较于现有随机方法（通常需递减步长以实现收敛），在变分-高斯推断中实现了更快的收敛速度。

ABSTRACT

Stochastic approximation methods have recently gained popularity for variational inference, but many existing approaches treat them as black-box tools. Thus, they often do not take advantage of the geometry of the posterior and usually require a decreasing sequence of step-sizes (which converges slowly in practice). We introduce a new stochastic-approximation method that uses a proximal-gradient framework. Our method exploits the geometry and structure of the variational lower bound, and contains many existing methods, such as stochastic variational inference, as a special case. We establish the convergence of our method under a non-decreasing step-size schedule, which has both theoretical and practical advantages. We consider setting the step-size based on the continuity of the objective and the geometry of the posterior, and show that our method gives a faster rate of convergence for variational-Gaussian inference than existing stochastic methods.

研究动机与目标

• 解决现有随机变分推断方法依赖递减步长导致收敛缓慢的问题。
• 利用变分下界几何结构以提升优化效率。
• 在非递减步长调度下建立理论收敛性，此类调度在实际中更具实用性且速度更快。
• 将现有方法（如随机变分推断）统一于更广泛的近端梯度框架之中。

提出的方法

• 该方法采用近端梯度框架以优化变分下界，整合后验的曲率与结构信息。
• 使用非递减步长序列，与标准方法通常要求步长递减形成对比。
• 算法集成近端算子以处理目标函数中的非光滑分量。
• 通过将随机变分推断嵌入近端梯度公式作为特例，推广了现有随机变分推断方法。
• 基于目标函数的连续性与后验几何结构设定步长，以提升收敛速度。

实验结果

研究问题

• RQ1 随机变分推断是否能在非递减步长调度下实现收敛？
• RQ2 利用变分下界几何结构如何提升收敛速度？
• RQ3 采用非递减步长的近端梯度方法具有怎样的理论收敛行为？
• RQ4 所提方法在变分-高斯推断中与现有随机方法相比，其量化性能如何？

主要发现

• 所提方法在非递减步长调度下实现收敛，具有理论与实际优势。
• 相较于现有随机方法，该方法在变分-高斯推断中实现了更快的收敛速率。
• 该方法将标准随机变分推断作为特例进行推广，扩展了其适用范围与灵活性。
• 通过利用后验几何结构与目标函数连续性，该方法实现了更高效的优化，且无需步长衰减。