[论文解读] Using Statistics to Automate Stochastic Optimization

Hunter Lang, Pengchuan Zhang+1 more|arXiv (Cornell University)|Sep 21, 2019

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

该论文提出统计自适应随机逼近（SASA），一种自动化方法，利用统计假设检验检测随机梯度下降带动量（SGM）何时达到平稳分布，从而触发预设的学习率下降。SASA 仅使用默认超参数，在多个深度学习任务中达到或超过人工调优的学习率调度性能，提升了鲁棒性并减少了手动调优的工作量。

ABSTRACT

Despite the development of numerous adaptive optimizers, tuning the learning rate of stochastic gradient methods remains a major roadblock to obtaining good practical performance in machine learning. Rather than changing the learning rate at each iteration, we propose an approach that automates the most common hand-tuning heuristic: use a constant learning rate until "progress stops," then drop. We design an explicit statistical test that determines when the dynamics of stochastic gradient descent reach a stationary distribution. This test can be performed easily during training, and when it fires, we decrease the learning rate by a constant multiplicative factor. Our experiments on several deep learning tasks demonstrate that this statistical adaptive stochastic approximation (SASA) method can automatically find good learning rate schedules and match the performance of hand-tuned methods using default settings of its parameters. The statistical testing helps to control the variance of this procedure and improves its robustness.

研究动机与目标

• 解决随机优化中，尤其是深度学习模型，人工调整学习率这一长期存在的挑战。
• 克服固定或递减学习率调度的局限性，这些调度方法常表现不如启发式‘恒定-降低’策略。
• 开发一种自动化、基于统计的检测方法，用于识别训练进展停滞的时刻，从而确定最优学习率降低时机。
• 通过用正式的统计检验替代启发式触发机制，提升超参数敏感度的鲁棒性并降低方差。
• 实现自动学习率自适应，其性能匹配或超过专家调优的调度方案，且无需针对特定任务进行调优。

提出的方法

• 提出 SASA 框架，该框架在固定长度的 M 次迭代阶段内执行 SGM 更新，并收集梯度和动量向量的统计信息。
• 基于 SGM 动力学的遍历性，采用统计检验来检测过程是否已达到平稳分布。
• 利用 Yaida（2018）推导出的关键平稳条件：E[⟨x, g⟩] ≈ (α/2) * ((1+β)/(1−β)) * E[⟨d, d⟩]，该条件可基于训练历史以极低开销进行估计。
• 对平稳条件左右两边的归一化差异进行假设检验，以检测平稳性。
• 当检验拒绝非平稳性的原假设时，触发乘法式学习率衰减（α ← ζα）。
• 使用检验统计量的滚动平均以提升稳定性，减少训练过程中的误报。

实验结果

研究问题

• RQ1 统计检验能否在训练过程中检测到 SGM 动力学已达到平稳分布？
• RQ2 基于统计平稳性检测实现学习率衰减的自动化方法，是否优于人工调优或启发式调度？
• RQ3 该方法在具有不同架构和数据分布的多样化深度学习任务中表现如何？
• RQ4 统计检验能否在无需验证损失或人工调优的情况下，可靠地区分训练进展与停滞？
• RQ5 与启发式学习率调度相比，使用统计检验是否能降低方差并提升一致性？

主要发现

• SASA 仅使用训练统计数据成功检测到 SGM 动力学的平稳性，实现了无需访问验证损失的自动化学习率衰减。
• 在 CIFAR-10 上使用 ResNet-18 时，SASA 仅使用默认超参数即达到与人工调优的 SGM-hand 方法（94.2% 测试准确率）相当的性能。
• 该方法性能与 Adam 及使用递减步长的 SGM 相当，但显著降低了对超参数的敏感度。
• 统计检验提升了鲁棒性：尽管存在序列检验，SASA 并未出现膨胀的假阳性发现率，原因在于检验统计量之间具有高度相关性。
• 基于 Yaida（2018）的平稳条件在实验中迅速收敛至零，证实其适用于实时检测。
• SASA 的计算开销仅比标准 SGM 增加 33%，得益于测试统计量中梯度的重用，因此计算效率较高。