[论文解读] Better Theory for SGD in the Nonconvex World

Ahmed Khaled, Peter Richtárik|arXiv (Cornell University)|Feb 9, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用 60

一句话总结

本文提出一般化的期望平滑性（ES）条件，以对非凸SGD中的随机梯度建模，证明了最优收敛速率并在子采样和压缩方案中具有灵活性。

ABSTRACT

Large-scale nonconvex optimization problems are ubiquitous in modern machine learning, and among practitioners interested in solving them, Stochastic Gradient Descent (SGD) reigns supreme. We revisit the analysis of SGD in the nonconvex setting and propose a new variant of the recently introduced expected smoothness assumption which governs the behaviour of the second moment of the stochastic gradient. We show that our assumption is both more general and more reasonable than assumptions made in all prior work. Moreover, our results yield the optimal $\mathcal{O}(\varepsilon^{-4})$ rate for finding a stationary point of nonconvex smooth functions, and recover the optimal $\mathcal{O}(\varepsilon^{-1})$ rate for finding a global solution if the Polyak-Łojasiewicz condition is satisfied. We compare against convergence rates under convexity and prove a theorem on the convergence of SGD under Quadratic Functional Growth and convexity, which might be of independent interest. Moreover, we perform our analysis in a framework which allows for a detailed study of the effects of a wide array of sampling strategies and minibatch sizes for finite-sum optimization problems. We corroborate our theoretical results with experiments on real and synthetic data.

研究动机与目标

• 促使在非凸SGD中对随机梯度二阶矩进行准确建模。
• 引入期望平滑性（ES）假设，作为SGD分析中最弱的一般条件。
• 表明ES在实际的子采样和压缩方案下成立。
• 推导最优收敛速率：对于一般非凸为O(ε^-4)，在 Polyak-Lojasiewicz 条件下为O(ε^-1)。
• 提供关于小批量大小和重要性采样的指导。
• 将基于ES的结果与现有的凸/非凸收敛结果进行比较。

提出的方法

• 在有限和框架下，将随机梯度 g(x) 定义为 ∇f(x) 的无偏估计。
• 提出 ES 不等式：E[||g(x)||^2] ≤ 2A(f(x)-f_inf) + B||∇f(x)||^2 + C。
• 证明 ES 是已知假设中最弱的，并且对许多子采样/压缩方案自动成立。
• 在 ES 下建立对 SGD 的收敛分析，获得以 ε为停点的梯度评估次数为 O(ε^-4)。
• 将分析扩展到 Polyak-Lojasiewicz (PL) 条件，以获得 O(ε^-1) 速率，并讨论在 QFG 与凸性的收敛。
• 研究抽样方案（有放回/无放回、τ-好性）和压缩算子（ω-压缩器）以实现ES。

实验结果

研究问题

• RQ1 对随机梯度的二阶矩需要的最小条件是什么，以确保非凸SGD的可靠收敛？
• RQ2 是否存在覆盖子采样和压缩等实际随机性来源的一般、较弱的假设？
• RQ3 在 ES 下，SGD 的收敛速率是多少，它们是否与在 PL 或凸情况下已知的最优速率相匹配？
• RQ4 抽样策略和小批量大小如何影响 ES 参数及由此产生的复杂度？
• RQ5 ES 能否恢复或改进现有的非凸优化结果，包括全梯度下降和基于 PL 的收敛？

主要发现

• 引入 ES 作为目前已知的控制非凸问题中随机梯度二阶矩的最弱条件。
• 证明在常见实际设置如子采样和压缩下，ES 会自动成立。
• 在一般光滑非凸函数下，达到到 ε-stationary 点的最优 O(ε^-4) 收敛速率。
• 在 Polyak-Lojasiewicz 条件下，恢复找到全局解的 O(ε^-1) 速率。
• 提供一个框架，在 ES 内推导最优的小批量大小和重要性采样概率。
• 将 ES 与若干现有梯度噪声模型（BV、M-SG、SG、RG、GC）联系起来并覆盖它们，同时保持更一般。