[论文解读] Vprop: Variational Inference using RMSprop

Mohammad Emtiyaz Khan, Zuozhu Liu+2 more|arXiv (Cornell University)|Dec 4, 2017

Gaussian Processes and Bayesian Inference参考文献 11被引用 15

一句话总结

Vprop 是一种新颖的变分推断方法，通过仅对标准 RMSprop 优化器进行两项微小修改，即可实现高斯变分推断，与黑箱变分推断（BBVI）相比，内存使用量减少一半。其性能与精确的自然梯度方法相当，并在理论上与牛顿法、自然梯度及扩展卡尔曼滤波器相关联。

ABSTRACT

Many computationally-efficient methods for Bayesian deep learning rely on continuous optimization algorithms, but the implementation of these methods requires significant changes to existing code-bases. In this paper, we propose Vprop, a method for Gaussian variational inference that can be implemented with two minor changes to the off-the-shelf RMSprop optimizer. Vprop also reduces the memory requirements of Black-Box Variational Inference by half. We derive Vprop using the conjugate-computation variational inference method, and establish its connections to Newton's method, natural-gradient methods, and extended Kalman filters. Overall, this paper presents Vprop as a principled, computationally-efficient, and easy-to-implement method for Bayesian deep learning.

研究动机与目标

• 通过利用现有优化框架，简化深度学习中高斯变分推断的实现。
• 降低黑箱变分推断（BBVI）的内存开销，该方法通常因对均值和方差分别优化而导致参数量翻倍。
• 建立变分推断与现代优化方法（如 RMSprop、牛顿法和自然梯度下降）之间的系统性联系。
• 通过允许标准神经网络代码库仅经最小修改即可直接使用，实现即插即用的贝叶斯深度学习。
• 开发一种计算高效且理论基础坚实的算法，与扩展卡尔曼滤波器等成熟推断技术建立联系。

提出的方法

• Vprop 通过引入两个关键修改，对现成的 RMSprop 优化器进行改进：用变分下界（ELBO）优化替代参数更新，并调整梯度计算以考虑完整的变分分布。
• 它利用共轭计算变分推断（CVI）框架，推导出在高斯-牛顿近似下等价于自然梯度更新的更新规则。
• 该方法使用从变分分布中进行的蒙特卡洛采样来计算 ELBO 的随机梯度，确保估计无偏。
• Vprop 保留了 RMSprop 的自适应学习率机制，但将其应用于变分参数（均值和对数方差），从而实现高效且稳定的优化。
• 该算法继承了 RMSprop 的内存效率，通过避免为完整协方差矩阵存储独立的二阶统计量，使 BBVI 的内存成本减半。
• 通过证明在特定假设下，Vprop 的更新方向近似于自然梯度，建立了与牛顿法、自然梯度下降及扩展卡尔曼滤波器之间的理论联系。

实验结果

研究问题

• RQ1 是否可以仅对现有优化代码库（如 RMSprop）进行最小修改，实现变分推断？
• RQ2 基于 RMSprop 的方法是否能达到与精确自然梯度或基于高斯-牛顿法的变分推断相当的性能？
• RQ3 所提出的方法是否在保持精度的同时，相比标准 BBVI 减少了内存使用？
• RQ4 Vprop 与牛顿法和自然梯度等经典优化方法之间存在何种理论关系？
• RQ5 Vprop 是否能通过在梯度估计中使用蒙特卡洛采样，在小样本场景下避免过拟合？

主要发现

• 在逻辑回归和多层感知机（MLP）上，尽管仅使用高斯-牛顿近似而非精确 Hessian 矩阵计算，Vprop 的 ELBO 优化性能与 SOTA 自然梯度方法 CVI 相当。
• 在 Australian-Scale 和 a1a 数据集上，Vprop-2（使用 2 个蒙特卡洛样本）的收敛速度与使用固定学习率的 BBVI 相当或更快。
• 仅使用 RMSprop 而不进行 ELBO 优化时，在小数据集上表现良好但出现过拟合，表明 ELBO 优化对泛化至关重要。
• Vprop-0（无蒙特卡洛采样）表现略优于 RMSprop，但仍出现过拟合，表明采样对稳定贝叶斯泛化至关重要。
• 在 MLP 实验中，Vprop-2 和 CVI 均避免了过拟合，而 RMSprop 和 Vprop-0 未能避免，表明通过采样实现的无偏梯度估计是可靠不确定性量化关键。
• 通过避免为完整协方差矩阵存储独立的二阶统计量，该方法相比 BBVI 将内存使用量减少一半。