[论文解读] Convergence diagnostics for stochastic gradient descent with constant step size

Jerry Chee, Panos Toulis|arXiv (Cornell University)|Oct 17, 2017

Stochastic Gradient Optimization Techniques参考文献 29被引用 6

一句话总结

本文提出了一种统计诊断测试，用于在使用固定学习率的随机梯度下降（SGD）中检测从瞬态到平稳阶段的过渡，利用连续梯度的内积作为信号。该方法可靠地识别出收敛区域，从而实现自适应学习率衰减，提升了收敛速度和性能，在多个基准测试中优于最先进的方法（如SVRG）。

ABSTRACT

Many iterative procedures in stochastic optimization exhibit a transient phase followed by a stationary phase. During the transient phase the procedure converges towards a region of interest, and during the stationary phase the procedure oscillates in that region, commonly around a single point. In this paper, we develop a statistical diagnostic test to detect such phase transition in the context of stochastic gradient descent with constant learning rate. We present theory and experiments suggesting that the region where the proposed diagnostic is activated coincides with the convergence region. For a class of loss functions, we derive a closed-form solution describing such region. Finally, we suggest an application to speed up convergence of stochastic gradient descent by halving the learning rate each time stationarity is detected. This leads to a new variant of stochastic gradient descent, which in many settings is comparable to state-of-art.

研究动机与目标

• 开发一种基于统计原理的诊断方法，用于检测固定学习率SGD中平稳阶段的开始。
• 解决随机优化中缺乏正式收敛诊断的问题，特别是针对固定学习率SGD。
• 通过在检测到平稳性时触发学习率衰减，提升收敛速度和稳定性。
• 提供理论和实证验证，证明该诊断在识别收敛区域方面的可靠性。
• 提出一种新的SGD变体ISGD 1/2，当诊断被激活时将学习率减半。

提出的方法

• 诊断方法使用连续梯度内积 $ \nabla_{n-1}\ell^\top \nabla_n\ell $ 的运行平均值来检测相变。
• 负的内积表明典型的振荡行为，属于平稳阶段的特征，提示已达到收敛。
• 该方法基于随机逼近理论和停止时间原理，特别是Pflug的程序。
• 诊断触发学习率减半步骤，形成一种新算法ISGD 1/2。
• 理论分析推导出在一类损失函数下收敛区域的闭式解。
• 实证验证使用模拟数据和基准数据集（MNIST、COVERTYPE）进行二值逻辑回归。

实验结果

研究问题

• RQ1 统计诊断能否可靠地检测固定学习率SGD中从瞬态到平稳阶段的过渡？
• RQ2 所提出的诊断是否能准确识别出真实的收敛区域，并与理论预期一致？
• RQ3 基于诊断的自适应学习率衰减能否提升收敛速度和最终性能？
• RQ4 ISGD 1/2在测试误差和稳定性方面与SVRG和经典SGD相比表现如何？
• RQ5 该诊断对学习率误设是否具有鲁棒性，并在神经网络等非凸设置中是否有效？

主要发现

• 诊断成功检测到相变，其激活时间在模拟和真实场景中均与收敛区域高度吻合。
• ISGD 1/2的性能与SVRG相当，且在高信噪比和低维设置下通常优于SVRG。
• 在COVERTYPE数据集中，ISGD 1/2在不到四分之一的数据遍历次数内完成收敛，并取得了最佳测试误差，优于SVRG和平均SGD。
• ISGD 1/2在学习率调优方面表现出优于SVRG的稳定性，后者需要仔细的手动校准。
• 诊断对初始参数设置具有鲁棒性，即使在学习率误设的情况下也表现有效。
• 理论分析证实，在损失函数类的正则条件下，诊断的激活区域与预期的收敛区域一致。