[论文解读] A Convergence Analysis for A Class of Practical Variance-Reduction Stochastic Gradient MCMC

Changyou Chen, Wenlin Wang+3 more|arXiv (Cornell University)|Sep 4, 2017

Markov Chains and Monte Carlo Methods参考文献 35被引用 7

一句话总结

本文提出了一种方差缩减的随机梯度MCMC（vrSG-MCMC）方法，通过减少随机梯度噪声，提升了贝叶斯学习中的收敛速度。通过采用一种实用且计算高效的方差缩减方案，该方法在计算资源有限的情况下，相较于标准SG-MCMC，实现了更快的均方误差衰减，尤其在逻辑回归、深度神经网络和序列模型等任务中，均通过实证验证了其有效性。

ABSTRACT

Stochastic gradient Markov Chain Monte Carlo (SG-MCMC) has been developed as a flexible family of scalable Bayesian sampling algorithms. However, there has been little theoretical analysis of the impact of minibatch size to the algorithm's convergence rate. In this paper, we prove that under a limited computational budget/time, a larger minibatch size leads to a faster decrease of the mean squared error bound (thus the fastest one corresponds to using full gradients), which motivates the necessity of variance reduction in SG-MCMC. Consequently, by borrowing ideas from stochastic optimization, we propose a practical variance-reduction technique for SG-MCMC, that is efficient in both computation and storage. We develop theory to prove that our algorithm induces a faster convergence rate than standard SG-MCMC. A number of large-scale experiments, ranging from Bayesian learning of logistic regression to deep neural networks, validate the theory and demonstrate the superiority of the proposed variance-reduction SG-MCMC framework.

研究动机与目标

• 理论分析小批量大小如何影响标准SG-MCMC算法的收敛速度。
• 解决SG-MCMC中随机梯度噪声的理论理解不足及其对收敛性的影响问题。
• 开发一种在计算和存储方面均高效的SG-MCMC方差缩减技术。
• 建立理论保证，证明所提出的vrSG-MCMC相比标准SG-MCMC具有更快的收敛速度。
• 在多种模型和数据集上实证验证vrSG-MCMC相较于标准SG-MCMC的优越性。

提出的方法

• 该方法引入了一种方差缩减方案，利用周期性更新的完整梯度估计来减少随机梯度中的噪声。
• 采用大小为 $ n_1 $ 的小批量来计算旧梯度 $ \tilde{g} $，在计算成本与方差缩减之间取得平衡。
• 该算法保持了对完整梯度的无偏估计，其偏差界与标准SG-MCMC保持一致。
• 理论分析表明，vrSG-MCMC在计算资源有限的情况下，相比标准SG-MCMC具有更快的收敛速度。
• 该方法可应用于SGLD等SG-MCMC变体，通过修改梯度更新规则以整合方差缩减的梯度估计。
• 框架采用步长衰减调度和梯度裁剪，以确保在深层模型上的稳定训练。

实验结果

研究问题

• RQ1 在计算资源有限的条件下，小批量大小如何影响标准SG-MCMC的均方误差（MSE）收敛速度？
• RQ2 SG-MCMC中的方差缩减是否能实现相比标准SG-MCMC的可证明更快收敛速度？
• RQ3 在SG-MCMC中，计算成本与方差缩减之间的最优权衡是什么，特别是针对梯度估计的小批量大小？
• RQ4 所提出的vrSG-MCMC在不同模型架构（包括MLP、CNN和RNN）的贝叶斯学习任务中，实证表现如何？
• RQ5 该方差缩减方案是否能带来更平滑的学习曲线，并实现相比标准SG-MCMC更低的测试误差或损失？

主要发现

• 在计算资源有限的条件下，SG-MCMC的最优MSE界在使用完整梯度时达到，表明初始阶段的随机梯度噪声会减缓收敛速度。
• 在计算资源充足的长期训练中，大小为1的小批量更优，表明在后期阶段噪声可能具有积极作用。
• 在MNIST和CIFAR-10数据集上，vrSG-MCMC相比标准SGLD实现了显著更快的收敛速度，且在较少数据遍历次数后达到更低的测试误差和损失。
• 在PTB和WikiText-2数据集上，vrSG-MCMC在困惑度方面收敛更快，且学习曲线更平滑，优于SGLD。
• 该方法对 $ n_1 $ 的选择具有鲁棒性，当 $ n_1 = 200 $ 时性能已接近全批量梯度，表明实现良好性能并不需要极大的小批量。
• 由于梯度方差降低，vrSG-MCMC的学习曲线显著比SGLD更平滑，尤其在ResNet等深层模型中表现明显。