[论文解读] High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models

Chunyuan Li, Changyou Chen+2 more|arXiv (Cornell University)|Dec 23, 2015

Gaussian Processes and Bayesian Inference参考文献 34被引用 4

一句话总结

本文提出一种高阶对称分裂积分器（SSI）用于贝叶斯深度学习中的多变量随机梯度热浴（mSGNHT），以替代标准的欧拉积分器，从而提高数值精度与鲁棒性。基于SSI的mSGNHT-S在深层模型中实现了更快的收敛速度、更好的泛化能力以及更优越的性能表现，尤其在梯度条件具有挑战性时表现更佳。

ABSTRACT

Learning in deep models using Bayesian methods has generated significant attention recently. This is largely because of the feasibility of modern Bayesian methods to yield scalable learning and inference, while maintaining a measure of uncertainty in the model parameters. Stochastic gradient MCMC algorithms (SG-MCMC) are a family of diffusion-based sampling methods for large-scale Bayesian learning. In SG-MCMC, multivariate stochastic gradient thermostats (mSGNHT) augment each parameter of interest, with a momentum and a thermostat variable to maintain stationary distributions as target posterior distributions. As the number of variables in a continuous-time diffusion increases, its numerical approximation error becomes a practical bottleneck, so better use of a numerical integrator is desirable. To this end, we propose use of an efficient symmetric splitting integrator in mSGNHT, instead of the traditional Euler integrator. We demonstrate that the proposed scheme is more accurate, robust, and converges faster. These properties are demonstrated to be desirable in Bayesian deep learning. Extensive experiments on two canonical models and their deep extensions demonstrate that the proposed scheme improves general Bayesian posterior sampling, particularly for deep models.

研究动机与目标

• 解决在深度贝叶斯模型的随机梯度MCMC（SG-MCMC）中，欧拉积分器存在的数值不稳定与收敛缓慢问题。
• 提升在梯度消失或梯度爆炸情况下的深层模型后验采样精度与鲁棒性。
• 通过采用更高阶数值积分方法，提升mSGNHT的效率与可扩展性。
• 在浅层与深层贝叶斯模型中，证明对称分裂积分器（SSI）相较于欧拉积分器的优越性。
• 为大规模贝叶斯深度学习提供更可靠且更快速的采样框架。

提出的方法

• 用二阶对称分裂积分器（SSI）替代mSGNHT中的的一阶欧拉积分器，以降低离散化误差。
• 将SSI应用于mSGNHT的连续时间伊藤扩散公式，保持目标后验分布为平稳分布。
• 采用对称分裂格式，将漂移项与扩散项解耦，以提升数值稳定性和精度。
• 引入多变量热浴系统，为每个参数配置独立的热浴变量，增强自适应性与收敛性。
• 在mSGNHT框架内集成SSI，以保持细致平衡并确保收敛至正确的后验分布。
• 采用扩展的自然重参数化方法，实现在深层泊松因子分析中概率单纯形上的采样。

实验结果

研究问题

• RQ1 更高阶的数值积分器是否能提升mSGNHT在贝叶斯深度学习中的精度与收敛速度？
• RQ2 在深层模型中，对称分裂积分器（SSI）相较于欧拉积分器，在步长选择上的鲁棒性如何？
• RQ3 基于SSI的mSGNHT（mSGNHT-S）在深层神经网络及其他模型上，是否能生成更优的后验样本并实现更好的泛化性能？
• RQ4 mSGNHT-S在多大程度上缓解了深层贝叶斯模型中的梯度消失/爆炸问题？
• RQ5 在Wikipedia等大规模数据集上，mSGNHT-S是否能在预测困惑度方面超越当前最先进方法？

主要发现

• 在所有测试模型中，包括深层神经网络与深层泊松因子分析，mSGNHT-S的收敛速度与精度均显著优于mSGNHT-E。
• 在四层前馈神经网络中，当步长 $ h = 10^{-4} $ 时，mSGNHT-E无法收敛，而mSGNHT-S保持稳定且高效。
• 在 $ h = 5 \times 10^{-5} $ 时，mSGNHT-S在测试精度与负对数似然方面均显著优于mSGNHT-E。
• 在Wikipedia数据集上，mSGNHT-S的预测困惑度低于mSGNHT-E，并优于当前最先进方法如DPFA-SBN与NB-FTM。
• 图5的放大图显示，在最后10,000篇文档中，mSGNHT-S始终优于其他方法，证实了其更快的收敛速度。
• 该方法对步长选择具有鲁棒性，即使在深层架构中梯度不稳定时，也能实现有效训练。