[论文解读] AdaGrad stepsizes: Sharp convergence over nonconvex landscapes, from any initialization

Rachel Ward, Xiaoxia Wu+1 more|arXiv (Cornell University)|Jun 5, 2018

Stochastic Gradient Optimization Techniques被引用 68

一句话总结

该论文为非凸优化中的AdaGrad-Norm建立了精确的收敛保证，证明其在随机设置下以𝒪(log(N)/√N)的速率收敛至驻点，在批量设置下以𝒪(1/N)的速率收敛，且无需调整学习率。与SGD不同，AdaGrad-Norm对超参数选择具有鲁棒性，因此在不同初始化和噪声水平下均表现良好。

ABSTRACT

Adaptive gradient methods such as AdaGrad and its variants update the stepsize in stochastic gradient descent on the fly according to the gradients received along the way; such methods have gained widespread use in large-scale optimization for their ability to converge robustly, without the need to fine-tune the stepsize schedule. Yet, the theoretical guarantees to date for AdaGrad are for online and convex optimization. We bridge this gap by providing theoretical guarantees for the convergence of AdaGrad for smooth, nonconvex functions. We show that the norm version of AdaGrad (AdaGrad-Norm) converges to a stationary point at the $\mathcal{O}(\log(N)/\sqrt{N})$ rate in the stochastic setting, and at the optimal $\mathcal{O}(1/N)$ rate in the batch (non-stochastic) setting -- in this sense, our convergence guarantees are 'sharp'. In particular, the convergence of AdaGrad-Norm is robust to the choice of all hyper-parameters of the algorithm, in contrast to stochastic gradient descent whose convergence depends crucially on tuning the step-size to the (generally unknown) Lipschitz smoothness constant and level of stochastic noise on the gradient. Extensive numerical experiments are provided to corroborate our theory; moreover, the experiments suggest that the robustness of AdaGrad-Norm extends to state-of-the-art models in deep learning, without sacrificing generalization.

研究动机与目标

• 为填补现有理论中对AdaGrad在非凸优化中收敛性理解的空白，此前的保证仅限于凸优化和在线设置。
• 在平滑非凸函数的随机与批量设置下，建立AdaGrad-Norm的收敛速率。
• 证明AdaGrad-Norm的收敛性对超参数选择具有鲁棒性，而SGD则严重依赖于对未知平滑度和噪声水平的步长精细调优。
• 通过在深度学习模型上进行广泛的数值实验，验证理论发现。
• 表明AdaGrad-Norm的鲁棒性不会损害其在先进深度学习模型中的泛化性能。

提出的方法

• 提出AdaGrad-Norm，即一种通过累积梯度范数对步长进行归一化的AdaGrad变体，确保自适应且稳定的更新。
• 在随机设置下分析收敛性，通过有界梯度范数的期望，证明其收敛速率为𝒪(log(N)/√N)。
• 在批量（非随机）设置下，基于平滑性和Lipschitz梯度假设，建立最优的𝒪(1/N)收敛速率。
• 推导出不依赖于初始化、超参数值或梯度估计中噪声水平的理论边界。
• 采用一种新颖的分析框架，追踪梯度范数和步长自适应随时间的演化。
• 通过在深度学习模型（包括ResNets和Transformer）上进行广泛的数值实验，验证理论结论。

实验结果

研究问题

• RQ1 尽管先前的理论结果仅限于凸优化或在线设置，AdaGrad-Norm能否在非凸优化中实现收敛保证？
• RQ2 对于平滑非凸函数，AdaGrad-Norm在随机和批量设置下的收敛速率是多少？
• RQ3 与SGD相比，AdaGrad-Norm对超参数选择和初始化的鲁棒性如何？SGD的性能严重依赖于对步长的精细调优。
• RQ4 AdaGrad-Norm的理论鲁棒性是否能在实际深度学习模型中保持，而不损害泛化性能？
• RQ5 AdaGrad-Norm能否在批量设置下实现最优收敛速率？其与标准SGD相比表现如何？

主要发现

• 在随机设置下，AdaGrad-Norm以𝒪(log(N)/√N)的速率收敛至驻点，与非凸随机优化的已知下界一致。
• 在批量设置下，AdaGrad-Norm实现了最优的𝒪(1/N)收敛速率，这是对平滑非凸函数使用一阶方法所能达到的最快速率。
• AdaGrad-Norm的收敛性对所有超参数（包括初始化、学习率和噪声水平）均具有鲁棒性，而SGD则需要精确调优。
• 数值实验表明，AdaGrad-Norm在多种深度学习模型（包括ResNet和Transformer架构）中均保持了强劲性能。
• 该方法在深度学习中保持了泛化性能，表明其鲁棒性并未以牺牲模型准确率为代价。
• 理论分析表明，AdaGrad-Norm的自适应步长机制能够自动适应梯度的变异性，从而在无需手动调优的情况下实现稳定收敛。