[论文解读] Adaptive SGD with Polyak stepsize and Line-search: Robust Convergence and Variance Reduction

Xiaowen Jiang, Sebastian U. Stich|arXiv (Cornell University)|Aug 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

该论文提出了 AdaSPS 和 AdaSLS，这两种是自适应随机梯度下降的变体，可在无需问题特定参数的情况下，在插值与非插值设置下均实现鲁棒收敛。通过整合一种新型方差减少技术，这些算法在凸函数中实现了 $\widetilde{\mathcal{O}}(n + 1/\varepsilon)$ 的梯度复杂度，以达到 $\mathcal{O}(\varepsilon)$-次优性，其性能与 AdaSVRG 的快速收敛率相当，同时避免了内-外循环结构。

ABSTRACT

The recently proposed stochastic Polyak stepsize (SPS) and stochastic line-search (SLS) for SGD have shown remarkable effectiveness when training over-parameterized models. However, in non-interpolation settings, both algorithms only guarantee convergence to a neighborhood of a solution which may result in a worse output than the initial guess. While artificially decreasing the adaptive stepsize has been proposed to address this issue (Orvieto et al. [2022]), this approach results in slower convergence rates for convex and over-parameterized models. In this work, we make two contributions: Firstly, we propose two new variants of SPS and SLS, called AdaSPS and AdaSLS, which guarantee convergence in non-interpolation settings and maintain sub-linear and linear convergence rates for convex and strongly convex functions when training over-parameterized models. AdaSLS requires no knowledge of problem-dependent parameters, and AdaSPS requires only a lower bound of the optimal function value as input. Secondly, we equip AdaSPS and AdaSLS with a novel variance reduction technique and obtain algorithms that require $\smash{\widetilde{\mathcal{O}}}(n+1/ε)$ gradient evaluations to achieve an $\mathcal{O}(ε)$-suboptimality for convex functions, which improves upon the slower $\mathcal{O}(1/ε^2)$ rates of AdaSPS and AdaSLS without variance reduction in the non-interpolation regimes. Moreover, our result matches the fast rates of AdaSVRG but removes the inner-outer-loop structure, which is easier to implement and analyze. Finally, numerical experiments on synthetic and real datasets validate our theory and demonstrate the effectiveness and robustness of our algorithms.

研究动机与目标

• 解决现有自适应 SGD 方法（如 SPS 和 SLS）在非插值设置下训练时缺乏鲁棒收敛性的问题。
• 开发自适应步长方法，使其在凸函数和强凸函数设置下均保持快速收敛速率，且无需依赖问题相关参数。
• 将方差减少与 Polyak 及线搜索型步长规则相结合，同时在非插值环境下保持理论保证。
• 消除传统方差减少方法（如 AdaSVRG）中常见的内-外循环结构，提升实现的便捷性与分析的简洁性。
• 通过在合成数据集和真实数据集上的数值实验，验证理论改进的有效性。

提出的方法

• 提出 AdaSPS，即一种基于随机 Polyak 步长的变体，利用最优函数值的下界以确保在非插值设置下的收敛性。
• 引入 AdaSLS，一种基于线搜索的自适应方法，无需任何问题相关参数，从而在各种设置下实现鲁棒收敛。
• 采用一种新型方差减少机制，通过累积函数值差值与梯度范数动态调整步长。
• 通过分析自适应步长选择与方差减少之间的相互作用，推导出收敛速率，确保凸函数下为次线性收敛，强凸函数下为线性收敛。
• 为深度学习扩展设计了一种重启机制，允许步长增加，以模拟实践中观察到的循环行为。
• 采用混合更新规则，结合自适应步长与回溯法，以维持稳定性和收敛性。

实验结果

研究问题

• RQ1 基于 Polyak 步长和线搜索的自适应 SGD 是否能在插值与非插值设置下均实现鲁棒收敛？
• RQ2 能否成功将方差减少与 Polyak 及线搜索步长规则结合，同时保持理论收敛保证？
• RQ3 所提出的算法在非插值环境下是否比现有自适应方法具有更快的收敛速率？
• RQ4 所提出的算法是否能在不使用内-外循环结构的前提下，达到 AdaSVRG 的快速收敛率？
• RQ5 所提出的方法在非凸深度学习设置下是否有效且鲁棒？

主要发现

• AdaSPS 和 AdaSLS 在非插值设置下保证收敛，克服了 SPS 和 SLS 仅收敛至解附近区域的局限性。
• AdaSPS 仅需最优函数值的下界，而 AdaSLS 不需要任何问题相关参数，显著提升了实际可用性。
• 所提出的方差减少变体在凸函数中实现了 $\widetilde{\mathcal{O}}(n + 1/\varepsilon)$ 的梯度复杂度，以达到 $\mathcal{O}(\varepsilon)$-次优性，优于非方差减少版本的 $\mathcal{O}(1/\varepsilon^2)$ 收敛速率。
• 所提算法在不使用复杂内-外循环结构的前提下，达到了与 AdaSVRG 相当的快速收敛速率，简化了实现与分析。
• 在合成数据集和真实数据集上的数值实验验证了理论发现，并表明其在鲁棒性与性能方面优于 SPS、DecSPS、Adam 和带动量的 SGD。
• 非凸扩展 AdaSPS (DL) 在使用 ResNet-34 的 CIFAR10 和 CIFAR100 数据集上表现出具有竞争力的性能，表明其在凸设置之外也具有实际应用潜力。