[论文解读] Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization

Darina Dvinskikh, Aleksandr Ogaltsov+4 more|arXiv (Cornell University)|Nov 19, 2019

Stochastic Gradient Optimization Techniques参考文献 41被引用 13

一句话总结

本文提出了一种用于凸与非凸随机优化的自适应梯度下降方法，采用类似 Armijo 的线搜索策略，同时适应未知的梯度利普希茨常数与随机方差。该方法通过根据局部平滑度与噪声动态调整步长，实现了比 Adam 和 AdaGrad 更快的收敛速度，且无需超参数调优或对问题参数的先验知识。

ABSTRACT

In this paper we propose several adaptive gradient methods for stochastic optimization. Unlike AdaGrad-type of methods, our algorithms are based on Armijo-type line search and they simultaneously adapt to the unknown Lipschitz constant of the gradient and variance of the stochastic approximation for the gradient. We consider an accelerated and non-accelerated gradient descent for convex problems and gradient descent for non-convex problems. In the experiments we demonstrate superiority of our methods to existing adaptive methods, e.g. AdaGrad and Adam.

研究动机与目标

• 开发适用于随机优化的自适应梯度方法，无需事先知晓利普希茨常数或梯度方差。
• 克服现有自适应方法（如 Adam 和 AdaGrad）的局限性，这些方法通常需要超参数调优，且对小批量处理的适应性较差。
• 设计一种通用算法，通过利用不精确预言机模型，适用于光滑与非光滑问题。
• 基于局部曲率与噪声实现动态步长调整，从而在更平滑区域提升收敛速度。
• 在多种机器学习任务中展现鲁棒性与优越性能，且对初始条件或超参数不敏感。

提出的方法

• 该方法使用类似 Armijo 的线搜索策略，基于局部梯度行为与随机误差自适应地确定步长。
• 同时适应未知的 $ D/L $ 比值，可解释为信噪比或有效利普希茨常数。
• 算法维护局部利普希茨常数 $ L_k $ 的估计值，并在必要时通过回溯法进行更新。
• 采用小批量随机梯度，批量大小自适应选择以控制方差 $ ext{Var}[ abla f(x, heta)] \leq D_0/r $，确保无需先验知识即可收敛。
• 该方法被扩展至凸问题的非加速与加速变体，以及非凸问题的标准梯度下降。
• 通过依赖不精确预言机模型与自适应步长规则，避免对解距离或复杂超参数的依赖。

实验结果

研究问题

• RQ1 类似 Armijo 的线搜索能否有效推广至随机优化，实现在未知 $ L $ 或 $ D $ 情况下的自适应步长？
• RQ2 如何设计自适应方法，使其对小批量大小选择具有鲁棒性，且无需知晓 $ D $、$ L $ 或到最优解的距离？
• RQ3 自适应梯度方法是否能在凸与非凸设置下均实现比 Adam 和 AdaGrad 更快的收敛速度，同时对超参数选择保持鲁棒？
• RQ4 步长在多大程度上能通过在更平滑区域增大来适应局部曲率，从而提升收敛速度？
• RQ5 能否通过不精确预言机模型使该方法对光滑与非光滑问题均具有通用性？

主要发现

• 该方法在达到 $ \|\nabla f(x)\|^2 \leq \varepsilon^2 $ 时，预期预言机复杂度为 $ \tilde{T} = \frac{512 D_0 \bar{L}^2 (f(x^0) - f(x^*))}{\underline{L} \varepsilon^4} $，批量大小为 $ r = \frac{8D_0}{\varepsilon^2} $。
• 在 MNIST 与 CIFAR10 数据集上的逻辑回归、全连接网络与卷积神经网络中，该算法的收敛速度优于 Adam 与 AdaGrad。
• 该方法对超参数选择具有鲁棒性：在 $ D_0 $、$ \varepsilon $ 与 $ L_0 $ 的广泛范围内性能保持稳定，对初始点的敏感性极低。
• 理论分析证实了在凸（加速与非加速）与非凸设置下的收敛性，收敛速率依赖于 $ \varepsilon $、$ D_0 $ 与 $ \bar{L} $。
• 该方法支持自适应小批量处理，且无需事先知晓 $ D $、$ L $ 或最优批量大小。
• 实验结果表明，该方法在多种任务与网络架构中，均在训练目标函数值与测试准确率方面表现出一致的优越性。