[论文解读] DNN's Sharpest Directions Along the SGD Trajectory.

Stanisław Jastrzȩbski, Zachary Kenton+4 more|arXiv (Cornell University)|Jul 13, 2018

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文研究了在深度神经网络（DNN）训练过程中，随机梯度下降（SGD）轨迹中曲率最陡方向的作用。研究发现，SGD最初由于步长相对于曲率过大，会向曲率越来越大的区域移动；而若在这些方向上专门降低学习率，则可加速训练，并得到比标准SGD更尖锐、泛化能力更强的模型。

ABSTRACT

Stochastic Gradient Descent (SGD) based training of neural networks with a large learning rate or a small batch-size typically ends in well-generalizing, flat regions of the weight space, as indicated by small eigenvalues of the Hessian of the training loss. However, the curvature along the SGD trajectory is poorly understood. An empirical investigation shows that initially SGD visits increasingly sharp regions, reaching a maximum sharpness determined by both the learning rate and the batch-size of SGD. When studying the SGD dynamics in relation to the sharpest directions in this initial phase, we find that the SGD step is large compared to the curvature and commonly fails to minimize the loss along the sharpest directions. Furthermore, using a reduced learning rate along these directions can improve training speed while leading to both sharper and better generalizing solutions compared to vanilla SGD. In summary, our analysis of the dynamics of SGD in the subspace of the sharpest directions shows that they influence the regions that SGD steers to (where larger learning rate or smaller batch size result in wider regions visited), the overall training speed, and the generalization ability of the final model.

研究动机与目标

• 理解权重空间中曲率最陡方向对SGD轨迹和模型泛化的影响。
• 探究为何大学习率或小批量大小会导致更平坦、泛化能力更强的解，尽管SGD初始阶段会向更尖锐的区域移动。
• 探索是否可通过在曲率最陡方向上自适应调整学习率来提升训练效率与模型性能。
• 刻画SGD步长、批量大小、学习率与权重空间中所访问区域曲率之间的关系。

提出的方法

• 在训练过程中，通过实验追踪Hessian矩阵最大特征值（即曲率）沿SGD轨迹的演化。
• 利用对应于Hessian最大特征值的特征向量，识别权重空间中的最陡曲率方向。
• 分析SGD更新量在最陡曲率方向上的大小与局部曲率之间的差异，揭示步长与局部几何之间的不匹配。
• 实施一种改进的训练策略，仅在最陡曲率方向上应用降低后的学习率。
• 将标准SGD与改进方法在训练速度、最终损失、曲率和泛化性能方面进行对比。

实验结果

研究问题

• RQ1 在训练过程中，SGD轨迹沿损失曲率最陡方向的曲率如何演化？
• RQ2 为何大学习率或小批量大小会导致更好的泛化性能，尽管SGD会向更尖锐的区域移动？
• RQ3 SGD更新步长在最陡曲率方向上通常比曲率大多少？其后果是什么？
• RQ4 在最陡曲率方向上降低学习率在多大程度上能提升训练速度与泛化性能？
• RQ5 最陡曲率方向如何影响SGD最终收敛到的权重空间区域？

主要发现

• SGD最初会向损失曲率最陡的区域移动，其最大曲率由学习率和批量大小决定。
• SGD在最陡曲率方向上的更新步长通常远大于局部曲率，导致这些方向上的最小化效率低下。
• 在最陡曲率方向上专门降低学习率，可使训练收敛速度优于标准SGD。
• 改进的训练策略生成的模型不仅更尖锐，而且泛化能力优于使用原始SGD训练的模型。
• 较大的学习率或较小的批量大小会使SGD访问损失曲率更平坦、更宽广的区域，但初始轨迹主要受曲率增加主导。
• 尽管标准SGD在这些方向上的最小化效果不佳，最陡曲率方向仍显著影响最终模型的泛化能力与轨迹动力学。