[论文解读] SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation

Robert M. Gower, Othmane Sebbouh+1 more|arXiv (Cornell University)|Jun 18, 2020

Stochastic Gradient Optimization Techniques参考文献 50被引用 6

一句话总结

该论文通过引入比以往增长或光滑性条件更弱的假设——期望残差（Expected Residual, ER）条件，为结构化非凸函数上的随机梯度下降（SGD）建立了新的收敛性保证。在ER条件下，证明了拟凸函数的次线性收敛和PL-正则函数的线性收敛，同时确定了最优小批量大小，并在插值设置下实现了最先进的收敛速率。

ABSTRACT

Stochastic Gradient Descent (SGD) is being used routinely for optimizing non-convex functions. Yet, the standard convergence theory for SGD in the smooth non-convex setting gives a slow sublinear convergence to a stationary point. In this work, we provide several convergence theorems for SGD showing convergence to a global minimum for non-convex problems satisfying some extra structural assumptions. In particular, we focus on two large classes of structured non-convex functions: (i) Quasar (Strongly) Convex functions (a generalization of convex functions) and (ii) functions satisfying the Polyak-Lojasiewicz condition (a generalization of strongly-convex functions). Our analysis relies on an Expected Residual condition which we show is a strictly weaker assumption than previously used growth conditions, expected smoothness or bounded variance assumptions. We provide theoretical guarantees for the convergence of SGD for different step-size selections including constant, decreasing and the recently proposed stochastic Polyak step-size. In addition, all of our analysis holds for the arbitrary sampling paradigm, and as such, we give insights into the complexity of minibatching and determine an optimal minibatch size. Finally, we show that for models that interpolate the training data, we can dispense of our Expected Residual condition and give state-of-the-art results in this setting.

研究动机与目标

• 弥合标准SGD收敛理论（收敛缓慢，次线性）与非凸优化中经验性能（快速全局收敛）之间的差距。
• 通过引入弱于有界方差或增长条件的更弱假设，为结构化非凸函数上的SGD提供更紧致的收敛保证。
• 分析在各种步长规则（恒定、递减、随机Polyak）及任意采样范式下的SGD。
• 确定最优小批量大小，并推导小批量SGD的复杂度边界。
• 为能够插值训练数据的模型建立最先进的收敛结果，从而在该设置下无需依赖ER条件。

提出的方法

• 提出期望残差（ER）条件，作为统一且严格弱于先前条件（如强增长条件或期望光滑性）的假设。
• 在ER条件下，证明SGD对两类函数（拟凸函数和PL-正则函数）可收敛至全局最小值。
• 利用ER条件推导恒定、递减及随机Polyak步长下的收敛速率。
• 通过推导小批量特定的ER与光滑性参数常数，分析在任意采样下的小批量SGD。
• 证明在插值模型中，ER条件不再必要，仅依赖PL条件即可实现线性收敛。
• 利用任意采样框架，推导拟凸函数与PL函数下SGD的迭代复杂度边界及最优小批量大小。

实验结果

研究问题

• RQ1 在弱于有界方差或增长条件的假设下，SGD能否实现对结构化非凸函数的全局收敛？
• RQ2 与现有假设（如强增长条件或期望光滑性）相比，期望残差（ER）条件在一般性与紧致性方面有何优势？
• RQ3 在ER条件下，拟凸函数与PL函数的SGD最优小批量大小与迭代复杂度是多少？
• RQ4 在插值设置下，能否舍弃ER条件？此时可实现的收敛速率如何？
• RQ5 不同步长规则（恒定、递减、随机Polyak）在ER条件下对收敛性有何影响？

主要发现

• 在ER条件下，SGD对拟凸函数的收敛速率为$\mathcal{O}(1/\sqrt{k})$，与现有最先进结果相当或更优。
• 对于PL函数，SGD在无需有界方差或增长假设的前提下，仅依赖ER条件即可实现收敛至邻域的线性收敛。
• ER条件严格弱于强增长条件、弱增长条件及期望光滑性条件，适用于更广泛的非凸函数类，包括插值函数与$x^*$-凸函数。
• 对于小批量SGD，最优小批量大小被推导为问题参数的函数，从而最小化迭代复杂度。
• 在插值设置下（如过参数化模型），ER条件不再需要，且可直接在PL条件下证明线性收敛。
• 理论表明，梯度下降在ER条件下的迭代复杂度低于已知最优结果，凸显ER条件在SGD分析中的必要性。