[论文解读] A Unified Theory of SGD: Variance Reduction, Sampling, Quantization and Coordinate Descent

Eduard Gorbunov, Filip Hanzely+1 more|arXiv (Cornell University)|May 27, 2019

Stochastic Gradient Optimization Techniques参考文献 44被引用 18

一句话总结

本文提出了一套统一的理论框架，用于分析一类广泛的随机梯度下降（SGD）变体，包括具有方差缩减、重要性采样、小批量处理、量化以及坐标下降的变体。通过在迭代点和随机梯度上引入参数化假设，作者推导出一个统一的线性收敛定理，该定理涵盖了并改进了现有各类优化方法的结果。

ABSTRACT

In this paper we introduce a unified analysis of a large family of variants of proximal stochastic gradient descent ({ t SGD}) which so far have required different intuitions, convergence analyses, have different applications, and which have been developed separately in various communities. We show that our framework includes methods with and without the following tricks, and their combinations: variance reduction, importance sampling, mini-batch sampling, quantization, and coordinate sub-sampling. As a by-product, we obtain the first unified theory of { t SGD} and randomized coordinate descent ({ t RCD}) methods, the first unified theory of variance reduced and non-variance-reduced { t SGD} methods, and the first unified theory of quantized and non-quantized methods. A key to our approach is a parametric assumption on the iterates and stochastic gradients. In a single theorem we establish a linear convergence result under this assumption and strong-quasi convexity of the loss function. Whenever we recover an existing method as a special case, our theorem gives the best known complexity result. Our approach can be used to motivate the development of new useful methods, and offers pre-proved convergence guarantees. To illustrate the strength of our approach, we develop five new variants of { t SGD}, and through numerical experiments demonstrate some of their properties.

研究动机与目标

• 统一此前需要分别进行理论分析的多种SGD变体的分析。
• 建立一个涵盖具有和不具有方差缩减、重要性采样、小批量处理、量化以及坐标子采样等方法的共同理论框架。
• 在强拟凸性和对迭代点与梯度的参数化假设下，提供一个具有可证明线性收敛性的单一收敛定理。
• 实现新SGD变体的系统化设计，并附带预先证明的收敛性保证。
• 首次建立SGD与随机坐标下降（RCD）方法之间的统一理论联系，涵盖方差缩减与非方差缩减的SGD。

提出的方法

• 通过在迭代点和随机梯度上引入参数化假设，统一多种SGD变体的收敛性分析。
• 采用一种李雅普诺夫函数，该函数结合了到最优解的平方距离、随机梯度的二阶矩，以及与Bregman散度相关的项。
• 推导出一个关键的单步递推不等式，用于界定李雅普诺夫函数的期望下降量。
• 利用该递推关系，在强拟凸性和参数化假设下建立线性收敛性。
• 将该框架应用于恢复并改进已知方法（如SAGA、SVRG和标准SGD）的收敛速率。
• 通过设计五个新的SGD变体并进行数值验证，展示了该框架在方法设计中的实用性。

实验结果

研究问题

• RQ1 能否通过一个统一的理论框架，统一分析包括方差缩减、重要性采样和量化在内的多种SGD变体的收敛性？
• RQ2 对迭代点和梯度的何种参数化假设，能够使此类广泛方法的收敛性证明得以统一？
• RQ3 所提出的框架如何改进已知SGD变体的现有复杂度边界？
• RQ4 该框架能否用于系统地推导并分析具有保证收敛性的新型SGD变体？
• RQ5 该框架在多大程度上统一了SGD与随机坐标下降（RCD）方法？

主要发现

• 所提出的框架提供了一个单一的线性收敛定理，适用于广泛的SGD变体，包括具有方差缩减、重要性采样、小批量处理、量化和坐标下降的变体。
• 该框架在所有恢复的特例中均实现了最优已知收敛复杂度，包括SAGA、SVRG和标准SGD。
• 作者首次建立了SGD与RCD方法的统一理论，表明两者均可在相同的理论框架下进行分析。
• 该框架使得五种新型SGD变体的设计成为可能，充分展示了其在方法开发中提供可证明收敛性保证的实用性。
• 理论分析得到了数值实验的支持，验证了所提出新变体的性质。
• 关键技术贡献是一个单步递推不等式，它使得在对随机梯度和迭代点施加参数化假设的前提下，统一收敛性分析成为可能。