[论文解读] Langevin Dynamics with Continuous Tempering for Training Deep Neural Networks

Nanyang Ye, Zhanxing Zhu+1 more|arXiv (Cornell University)|Mar 13, 2017

Gaussian Processes and Bayesian Inference参考文献 23被引用 8

一句话总结

该论文提出连续调温朗之万动力学（CTLD），一种用于深度神经网络的两阶段训练方法：首先通过自适应温度调节的贝叶斯采样与连续调温技术探索损失曲面并逃离次优局部极小值，随后通过随机优化进行微调。CTLD在多种网络架构（包括自编码器和RNN）上实现了最先进的泛化性能，同时具备更优的收敛性与对超参数的鲁棒性。

ABSTRACT

Minimizing non-convex and high-dimensional objective functions is challenging, especially when training modern deep neural networks. In this paper, a novel approach is proposed which divides the training process into two consecutive phases to obtain better generalization performance: Bayesian sampling and stochastic optimization. The first phase is to explore the energy landscape and to capture the "fat" modes; and the second one is to fine-tune the parameter learned from the first phase. In the Bayesian learning phase, we apply continuous tempering and stochastic approximation into the Langevin dynamics to create an efficient and effective sampler, in which the temperature is adjusted automatically according to the designed "temperature dynamics". These strategies can overcome the challenge of early trapping into bad local minima and have achieved remarkable improvements in various types of neural networks as shown in our theoretical analysis and empirical experiments.

研究动机与目标

• 为解决深度神经网络训练中因过早陷入次优局部极小值而导致泛化性能差的挑战。
• 通过实现高效且自适应的采样，改善高维非凸损失曲面的探索能力。
• 降低现有随机优化方法中对退火调度手动调参的依赖。
• 开发一种可扩展且鲁棒的训练框架，结合贝叶斯采样与连续调温，以实现更优的优化初始化。
• 验证在深度学习中，连续调温相较于预设退火调度的有效性。

提出的方法

• 该方法将训练分为两个阶段：首先进行带连续调温的贝叶斯采样，随后通过随机优化进行微调。
• 采用扩展的随机梯度二阶朗之万动力学，其温度通过一个动态耦合的“温度动力学”演化。
• 温度并非手动调度，而是基于控制变量 α 自适应调整，其演化由促进探索的微分方程控制。
• 噪声幅度 β̃ = 1/g(α) 在采样过程中平滑演化，实现对能量曲面的受控且自适应的探索。
• 该系统采用类似元动力学的方法调整温度，使采样器能够跃迁于不同模式之间，避免过早收敛。
• 该方法被实现为连续时间随机过程，通过离散化积分实现，与标准深度学习框架兼容。

实验结果

研究问题

• RQ1 在深度神经网络中，朗之万动力学的连续调温能否改善对高维非凸损失曲面的探索？
• RQ2 与固定或手动调度的退火相比，自适应温度调节在泛化性能与收敛速度方面是否表现更优？
• RQ3 带连续调温的贝叶斯采样能否有效识别与更好泛化相关的“宽模式”？
• RQ4 该方法对学习率、动量及温度范围等超参数变化的鲁棒性如何？
• RQ5 采样后接优化的两阶段框架是否能在多种架构与任务中持续提升性能？

主要发现

• 在字符级RNN的Wiki Hutter Prize 100MB数据集上，CTLD实现了最低的测试困惑度，优于RMSProp、Adam与SGLD。
• 在堆叠去噪自编码器上，尽管初始采样阶段较慢，CTLD仍表现出更优的收敛性与最终性能，归因于有效探索带来的更优初始化。
• CTLD中的噪声幅度 β̃ 的演化实现了自适应控制与动态调整，与Santa和AnnealSGD中固定的或单调递减的调度形成对比。
• 敏感性分析表明，超参数 w 与 σ 对性能影响极小，表明该方法在测试范围内具有高度鲁棒性。
• 通过 S 增大温度范围可略微提升泛化性能，但不显著，表明该方法稳定且对 S 不太敏感。
• 两阶段设计——即贝叶斯采样后接优化——经实证验证，其泛化性能优于使用标准优化器的端到端训练。