[论文解读] At Stability's Edge: How to Adjust Hyperparameters to Preserve Minima Selection in Asynchronous Training of Neural Networks?

Niv Giladi, Mor Shpigel Nacson+2 more|arXiv (Cornell University)|Apr 30, 2020

Stochastic Gradient Optimization Techniques参考文献 28被引用 5

一句话总结

本文提出了一套理论框架，通过根据训练延迟调整学习率和动量，以在异步随机梯度下降（ASGD）中保持极小值选择。推导出闭式规则表明，对于高延迟情况，学习率必须与延迟成反比，以维持相同的可访问极小值集合，并建议为保证稳定性而禁用或修改动量。

ABSTRACT

Background: Recent developments have made it possible to accelerate neural networks training significantly using large batch sizes and data parallelism. Training in an asynchronous fashion, where delay occurs, can make training even more scalable. However, asynchronous training has its pitfalls, mainly a degradation in generalization, even after convergence of the algorithm. This gap remains not well understood, as theoretical analysis so far mainly focused on the convergence rate of asynchronous methods. Contributions: We examine asynchronous training from the perspective of dynamical stability. We find that the degree of delay interacts with the learning rate, to change the set of minima accessible by an asynchronous stochastic gradient descent algorithm. We derive closed-form rules on how the learning rate could be changed, while keeping the accessible set the same. Specifically, for high delay values, we find that the learning rate should be kept inversely proportional to the delay. We then extend this analysis to include momentum. We find momentum should be either turned off, or modified to improve training stability. We provide empirical experiments to validate our theoretical findings.

研究动机与目标

• 理解为何异步训练在收敛的情况下仍会降低泛化性能。
• 研究延迟与学习率如何共同影响ASGD可访问的极小值集合。
• 推导理论规则，以在不同延迟条件下保持相同的极小值选择。
• 将分析扩展至包含动量，并确定其对异步设置下训练稳定性的影 响。

提出的方法

• 通过动力学稳定性的视角分析异步训练，对延迟对梯度更新的影响进行建模。
• 推导出闭式关系，表明为保持可访问极小值集合，学习率应与延迟成反比。
• 将分析扩展至包含动量，识别出动量导致训练不稳定的条件。
• 提出修改后的动量调度方案或其停用，以在高延迟下提高稳定性。
• 通过在不同延迟和学习率设置下的神经网络训练进行实证实验，验证理论预测。

实验结果

研究问题

• RQ1 异步训练中的延迟如何影响随机梯度下降可访问的极小值集合？
• RQ2 何种学习率调整规则可在延迟增加时保持相同的极小值选择？
• RQ3 动量如何影响异步设置下的训练稳定性，以及在何时应对其进行修改或禁用？
• RQ4 关于学习率与延迟成比例缩放的理论预测是否可在神经网络训练中通过实证方法验证？

主要发现

• 为在异步训练中保持相同的可访问极小值集合，学习率必须与延迟成反比。
• 对于高延迟值，保持学习率与延迟之间的反比关系可确保稳定的极小值选择。
• 为防止高延迟异步训练中的不稳定性，应禁用或修改动量。
• 实证结果证实，所提出的学习率缩放规则可在不同延迟水平下维持泛化性能。