[论文解读] A Second look at Exponential and Cosine Step Sizes: Simplicity, Adaptivity, and Performance

Xiaoyu Li, Zhenxun Zhuang+1 more|OpenBU (Boston University)|Feb 12, 2020

Stochastic Gradient Optimization Techniques参考文献 81被引用 12

一句话总结

本文首次为随机梯度下降（SGD）中指数型和余弦型学习率调度提供了理论收敛保证，针对光滑非凸函数，证明了其可实现近乎最优的收敛速率，并在Polyak-Łojasiewicz（PL）条件下意外地自适应梯度噪声水平。实验结果表明，这些简单调度策略在仅需一到两个超参数调优的情况下，性能可匹配或超越Adam和分阶段衰减等最先进方法。

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular tool in training large-scale machine learning models. Its performance, however, is highly variable, depending crucially on the choice of the step sizes. Accordingly, a variety of strategies for tuning the step sizes have been proposed, ranging from coordinate-wise approaches (a.k.a. ``adaptive'' step sizes) to sophisticated heuristics to change the step size in each iteration. In this paper, we study two step size schedules whose power has been repeatedly confirmed in practice: the exponential and the cosine step sizes. For the first time, we provide theoretical support for them proving convergence rates for smooth non-convex functions, with and without the Polyak-Łojasiewicz (PL) condition. Moreover, we show the surprising property that these two strategies are \emph{adaptive} to the noise level in the stochastic gradients of PL functions. That is, contrary to polynomial step sizes, they achieve almost optimal performance without needing to know the noise level nor tuning their hyperparameters based on it. Finally, we conduct a fair and comprehensive empirical evaluation of real-world datasets with deep learning architectures. Results show that, even if only requiring at most two hyperparameters to tune, these two strategies best or match the performance of various finely-tuned state-of-the-art strategies.

研究动机与目标

• 为指数型和余弦型学习率调度在SGD中经验成功的理论依据提供支持。
• 探究这些简单调度是否能自适应于问题内在特性（如梯度噪声水平）。
• 在真实世界深度学习任务中，评估其与最先进自适应及启发式学习率策略的性能表现。
• 证明仅通过极简的超参数调优，即可实现与复杂、精细调优基线方法相当或更优的性能。

提出的方法

• 在光滑性和PL条件假设下，对采用指数型和余弦型学习率调度的SGD进行理论分析。
• 推导非凸函数的收敛速率，表明收敛速率可达O(1/√t)，仅受对数因子影响。
• 证明在PL条件下，两种调度策略均可自适应于随机梯度中的噪声水平，且无需事先知晓噪声水平或基于噪声水平进行调优。
• 在CIFAR-10和ImageNet上使用ResNet-20和ResNet-34进行实验评估，与Adam、多项式衰减及分阶段调度方法进行比较。
• 采用公平基准设置，固定超参数搜索预算，以确保不同方法之间的可比性。
• 通过分析训练和测试损失曲线，研究过早学习率衰减的影响，包括可视化过拟合风险。

实验结果

研究问题

• RQ1 指数型和余弦型学习率调度是否能为光滑非凸函数提供可证明的最优收敛速率？
• RQ2 这些调度能否在不显式知晓噪声水平或基于噪声水平调优的情况下，自适应于随机梯度中的噪声水平？
• RQ3 在深度学习中，这些简单调度与最先进自适应及启发式学习率策略相比，实验性能如何？
• RQ4 过早学习率衰减对泛化性能有何影响？这些调度如何缓解此类风险？

主要发现

• 指数型和余弦型学习率调度在光滑非凸函数上实现了O(1/√t)的收敛速率，与目前已知的最佳理论速率仅相差对数因子。
• 在Polyak-Łojasiewicz（PL）条件下，两种调度策略均可自适应于随机梯度中的噪声水平，实现近乎最优性能，且无需知晓噪声水平或基于噪声水平进行调优。
• 在CIFAR-10和ImageNet上，余弦和指数型调度策略的表现优于或匹配Adam、多项式衰减及分阶段调度策略，其中余弦调度在ImageNet上实现了0.7497±0.0044的最佳测试准确率。
• 在CIFAR-10上，指数型调度实现了最低的训练损失（0.0006±0.0001）和测试损失（0.0098±0.0010），优于所有基线方法。
• 实验结果表明，余弦和指数型调度分别仅需1个或2个超参数，而性能却优于需3–4个超参数的基线方法（如含多个里程碑的分阶段衰减）。
• 可视化结果表明，过早学习率衰减会导致过拟合并引起测试损失上升，凸显了余弦和指数型调度在避免此类陷阱方面的鲁棒性。