[论文解读] Bridging the Gap between Stochastic Gradient MCMC and Stochastic Optimization

Changyou Chen, David Carlson+3 more|arXiv (Cornell University)|Dec 25, 2015

Markov Chains and Monte Carlo Methods参考文献 34被引用 49

一句话总结

该论文提出Santa，一种新颖的随机优化算法，通过退火具有自适应预条件和逐元素动量的随机梯度MCMC方法推导而来。通过降低温度，从贝叶斯采样过渡到优化过程，Santa在深度神经网络上实现了最先进性能，其测试误差和收敛速度优于Adam、RMSprop及SGD变体，在FNN、CNN和RNN上均表现优异。

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (SG-MCMC) methods are Bayesian analogs to popular stochastic optimization methods; however, this connection is not well studied. We explore this relationship by applying simulated annealing to an SGMCMC algorithm. Furthermore, we extend recent SG-MCMC methods with two key components: i) adaptive preconditioners (as in ADAgrad or RMSprop), and ii) adaptive element-wise momentum weights. The zero-temperature limit gives a novel stochastic optimization method with adaptive element-wise momentum weights, while conventional optimization methods only have a shared, static momentum weight. Under certain assumptions, our theoretical analysis suggests the proposed simulated annealing approach converges close to the global optima. Experiments on several deep neural network models show state-of-the-art results compared to related stochastic optimization algorithms.

研究动机与目标

• 通过统一其算法结构，弥合随机梯度MCMC（SG-MCMC）与随机优化之间的理论与实践差距。
• 通过引入自适应、逐元素动量权重，解决传统随机优化方法使用单一固定动量参数的局限性。
• 通过退火SG-MCMC实现参数空间的高效探索，提升非凸深度学习目标的优化性能。
• 在非凸设置下，为所提方法提供理论收敛性分析，表明其收敛至全局最优解附近。
• 通过实证验证，证明所提方法在多种深度神经网络架构（包括前馈、卷积和循环网络）上的优越性。

提出的方法

• 对随机梯度热浴算法（SGNHT）应用模拟退火，逐步降低温度，实现从贝叶斯采样到优化的过渡。
• 利用黎曼信息几何引入自适应预条件器，类似于RMSprop和Adam，基于历史方差对梯度进行逐元素缩放。
• 为模型参数和动量变量引入自适应、逐元素动量权重，实现对每个参数的动态适应。
• 将算法公式化为带有温度依赖漂移项和扩散项的随机微分方程（SDE），以支持理论分析。
• 使用温度衰减调度，引导系统从完全探索（高温）过渡到利用（零温度），此时方法退化为一种新型随机优化算法。
• 基于退火马尔可夫链的偏差与方差，推导收敛界，为收敛至近全局最优解提供理论依据。

实验结果

研究问题

• RQ1 能否通过模拟退火，系统性地将随机梯度MCMC方法转化为高效的随机优化算法？
• RQ2 与SGD中使用固定共享动量相比，自适应、逐元素动量和预条件机制如何提升优化性能？
• RQ3 在非凸深度学习问题中，退火SG-MCMC框架是否能收敛至接近全局最优的解？
• RQ4 所提方法是否能在无需架构修改的情况下，在多种深度神经网络架构上实现最先进性能？
• RQ5 在偏差与方差方面，退火马尔可夫链的理论行为如何？其与非凸设置下的收敛性有何关联？

主要发现

• 在200-200全连接网络上，Santa在MNIST上的测试误差为0.47%，优于Adam（1.53%）、RMSprop（1.59%）和SGD（1.72%）。
• 在标准CNN架构上，Santa实现0.47%的测试误差，与更复杂模型的最先进结果相当或更优。
• 在Piano-midi.de数据集上的RNN任务中，Santa实现负对数似然7.60，优于所有对比方法，包括Adam（8.00）和RMSprop（7.70）。
• Santa在所有任务上的收敛速度均快于基线方法，尽管存在早期过拟合现象，但通过早停策略可有效缓解。
• 理论分析表明，在特定假设下，Santa在非凸设置中可收敛至接近全局最优的解。
• Santa在零温度极限下，恢复出一种具有自适应预条件和逐参数动量的新型随机优化算法，其与标准SGD动量方法在本质上不同。