[论文解读] Random Reshuffling: Simple Analysis with Vast Improvements

Konstantin Mishchenko, Ahmed Khaled+1 more|arXiv (Cornell University)|Jun 10, 2020

Stochastic Gradient Optimization Techniques参考文献 32被引用 16

一句话总结

本文针对有限和优化中的随机重排（RR）提出了更精细的理论分析，消除了以往对步长、梯度有界性和训练轮数的假设。该研究将条件数依赖性从 $\kappa^2$ 降低至 $\kappa$（或 $\sqrt{\kappa}$），改进了收敛速率；揭示了一种独特的方差结构，解释了RR在实际中优于SGD的原因；并建立了Shuffle-Once（SO）的紧收敛界，与已知下界一致。

ABSTRACT

Random Reshuffling (RR) is an algorithm for minimizing finite-sum functions that utilizes iterative gradient descent steps in conjunction with data reshuffling. Often contrasted with its sibling Stochastic Gradient Descent (SGD), RR is usually faster in practice and enjoys significant popularity in convex and non-convex optimization. The convergence rate of RR has attracted substantial attention recently and, for strongly convex and smooth functions, it was shown to converge faster than SGD if 1) the stepsize is small, 2) the gradients are bounded, and 3) the number of epochs is large. We remove these 3 assumptions, improve the dependence on the condition number from $κ^2$ to $κ$ (resp. from $κ$ to $\sqrtκ$) and, in addition, show that RR has a different type of variance. We argue through theory and experiments that the new variance type gives an additional justification of the superior performance of RR. To go beyond strong convexity, we present several results for non-strongly convex and non-convex objectives. We show that in all cases, our theory improves upon existing literature. Finally, we prove fast convergence of the Shuffle-Once (SO) algorithm, which shuffles the data only once, at the beginning of the optimization process. Our theory for strongly-convex objectives tightly matches the known lower bounds for both RR and SO and substantiates the common practical heuristic of shuffling once or only a few times. As a byproduct of our analysis, we also get new results for the Incremental Gradient algorithm (IG), which does not shuffle the data at all.

研究动机与目标

• 为有限和优化中的随机重排（RR）提供更精确的理论理解。
• 消除以往RR收敛分析中常见的限制性假设——小步长、有界梯度、大量训练轮数。
• 通过收敛分析中引入的新型方差结构，解释RR相较于SGD的实证优越性。
• 将分析从强凸性扩展至非强凸和非凸目标函数。
• 为Shuffle-Once（SO）和增量梯度（IG）建立紧收敛速率，证明其与已知下界一致。

提出的方法

• 提出一种基于Bregman散度和递归误差界的新分析框架，以处理RR中梯度的偏差问题。
• 引入一种新型方差分解方法，区分RR与SGD的收敛行为，解释其更快的实际性能。
• 将该框架应用于强凸、非强凸和非凸目标函数，在最小假设下推导收敛速率。
• 利用递推关系和求和界控制迭代与轮次之间的误差传播。
• 通过与RR分析中使用相同工具的方法，推导出Shuffle-Once（SO）的紧收敛界，证明其与已知下界一致。
• 将相同分析方法应用于增量梯度（IG），作为副产品推导出新的收敛结果。

实验结果

研究问题

• RQ1 能否在不假设小步长、有界梯度或大量训练轮数的前提下分析随机重排（RR）的收敛性？
• RQ2 RR收敛速率对条件数 $\kappa$ 的真实依赖关系是什么？是否可以进一步优化？
• RQ3 RR是否表现出与SGD不同的方差结构，从而解释其更快的实证收敛速度？
• RQ4 能否为仅在初始化时重排一次的Shuffle-Once（SO）建立紧收敛界？
• RQ5 所提出的分析如何扩展至非凸和非强凸目标函数？

主要发现

• 对于强凸函数，RR的收敛速率对条件数 $\kappa$ 的依赖性从 $\kappa^2$ 降低至 $\kappa$。
• 对于非强凸目标函数，条件数依赖性从 $\kappa$ 降低至 $\sqrt{\kappa}$。
• 分析揭示了RR中一种独特的方差结构，有助于解释其更快的收敛速度，为其实证优越性提供了理论依据。
• 建立了Shuffle-Once（SO）的紧收敛界，与已知下界一致，验证了仅初始化时重排一次的常见启发式方法的有效性。
• 该分析可推广至非凸目标函数，相比先前工作获得了更优的收敛速率。
• 为增量梯度（IG）推导出新的收敛结果，IG以固定、非随机顺序进行更新。