[论文解读] SGD: General Analysis and Improved Rates

Robert M. Gower, Nicolas Loizou+4 more|arXiv (Cornell University)|Jan 27, 2019

Stochastic Gradient Optimization Techniques参考文献 41被引用 41

一句话总结

本文在任意采样下通过期望平滑性框架引入了一个关于SGD的一般定理，推导了精确的步长公式与最优小批量大小，并在不要求所有分量为凸的前提下证明了线性收敛。

ABSTRACT

We propose a general yet simple theorem describing the convergence of SGD under the arbitrary sampling paradigm. Our theorem describes the convergence of an infinite array of variants of SGD, each of which is associated with a specific probability law governing the data selection rule used to form mini-batches. This is the first time such an analysis is performed, and most of our variants of SGD were never explicitly considered in the literature before. Our analysis relies on the recently introduced notion of expected smoothness and does not rely on a uniform bound on the variance of the stochastic gradients. By specializing our theorem to different mini-batching strategies, such as sampling with replacement and independent sampling, we derive exact expressions for the stepsize as a function of the mini-batch size. With this we can also determine the mini-batch size that optimizes the total complexity, and show explicitly that as the variance of the stochastic gradient evaluated at the minimum grows, so does the optimal mini-batch size. For zero variance, the optimal mini-batch size is one. Moreover, we prove insightful stepsize-switching rules which describe when one should switch from a constant to a decreasing stepsize regime.

研究动机与目标

• 推动一个超越均匀方差假设的通用SGD收敛框架。
• 引入期望平滑性概念，将采样方案与目标函数的平滑性联系起来。
• 给出一个对任意采样分布都成立的通用收敛定理。
• 推导出精确的步长表达式和最优的小批量大小。
• 给出当小批量增大时SGD达到梯度下降速率的条件。

提出的方法

• 将SGD重新表述为从分布D抽取的采样向量v，满足E[v_i]=1，从而得到f(x)的无偏估计f_v(x)。
• 采用期望平滑性假设ES(L)，用常数L将E[||∇f_v(x)−∇f_v(x*)||^2]与f(x)−f(x*)联系起来。
• 通过有限的σ^2 = E[||∇f_v(x*)||^2]来界定梯度噪声，使得在没有统一梯度方差界的情况下也能进行收敛分析。
• 证明定理3.1：若步长γ∈(0, 1/(2L)]，SGD在线性收敛到一个加性噪声项，即 E||x^k−x*||^2 ≤ (1−γμ)^k||x^0−x*||^2 + 2γσ^2/μ。
• 给出一个递减的步长方案（定理3.2），实现更好的收敛速度，且给出γ^k的明确公式。
• 对常见采样下的L与σ^2给出界限（定理3.6、定理3.9），并讨论独立采样、τ-友好采样和分区采样。
• 通过将L和σ代入迭代复杂度，讨论最优小批量大小，给出闭式判据（第4节）。
• 将分析与零梯度噪声的过参数化情形相关联，在小批量大小为n时回收已知的GD速率。
• 概述在单元素和小批量设置下的实用重要性采样方案（第5节）。

实验结果

研究问题

• RQ1 如何在单一通用框架下分析在任意数据采样分布下的SGD？
• RQ2 期望平滑性常数L和梯度噪声σ^2如何随采样方案而变化，以及如何对常见采样计算或界定它们？
• RQ3 在不同采样方案下，什么是使总体复杂度最小化的最优小批量大小和学习率调度？
• RQ4 在何种条件下SGD达到梯度下降速率（当小批量大小等于n时），以及方差如何影响收敛？

主要发现

• 在ES(L)框架下，若满足μ-伪强凸性，SGD在一个与γσ^2/μ成正比的加性噪声底下线性收敛。
• 该分析给出依赖于小批量大小和采样方法的显式步长选择，包括具有可证明速率的递减步长区间。
• 对独立采样、τ-友好采样、单元素采样和分区采样推导出期望平滑性L和梯度噪声σ^2的闭式界限，便于实际参数调优。
• 当梯度噪声σ^2=0时，该框架在常数误差下回收梯度下降速率L/μ，且随着小批量增大到n，方法趋近GD速率。
• 最优小批量大小与步长在噪声与光滑性之间取得平衡，结果解释了为何更大的小批量在达到最优点前有帮助，随后优势趋于饱和。
• 实验在岭回归、逻辑回归和PCA设置中验证理论主张，展示了ES框架的实用性。