[论文解读] Without-Replacement Sampling for Stochastic Gradient Methods: Convergence Results and Application to Distributed Optimization

Ohad Shamir|arXiv (Cornell University)|Mar 2, 2016

Stochastic Gradient Optimization Techniques参考文献 34被引用 19

一句话总结

本文为使用无放回采样的随机梯度方法提供了理论收敛保证，表明在关键场景下其性能并不显著劣于有放回采样。研究建立了在线 regret 最小化算法、SGD 和 SVRG 的边界，并将 SVRG 分析应用于设计一种近乎最优的分布式算法，用于正则化最小二乘问题，在随机数据划分下实现低通信和运行时复杂度。

ABSTRACT

Stochastic gradient methods for machine learning and optimization problems are usually analyzed assuming data points are sampled \emph{with} replacement. In practice, however, sampling \emph{without} replacement is very common, easier to implement in many cases, and often performs better. In this paper, we provide competitive convergence guarantees for without-replacement sampling, under various scenarios, for three types of algorithms: Any algorithm with online regret guarantees, stochastic gradient descent, and SVRG. A useful application of our SVRG analysis is a nearly-optimal algorithm for regularized least squares in a distributed setting, in terms of both communication complexity and runtime complexity, when the data is randomly partitioned and the condition number can be as large as the data size per machine (up to logarithmic factors). Our proof techniques combine ideas from stochastic optimization, adversarial online learning, and transductive learning theory, and can potentially be applied to other stochastic optimization and learning problems.

研究动机与目标

• 为解决理论上的空白：尽管无放回采样在实践中通常优于有放回采样，但缺乏强有力的理论依据，本文旨在填补这一理论空白。
• 在对数据仅进行少量或单次遍历的场景下，为使用无放回采样的随机梯度方法提供收敛边界，避免重复打乱数据。
• 通过利用无放回采样下的 SVRG 分析，设计一种正则化最小二乘问题的近乎最优分布式算法。
• 统一在线学习、归纳学习与随机优化中的概念，以分析无放回采样中的依赖结构。

提出的方法

• 使用对抗性在线 regret 边界和归纳 Rademacher 复杂度，刻画凸函数在单次无放回采样中的次优性。
• 将该分析应用于强凸且光滑损失下的随机梯度下降，推导出依赖于问题参数的收敛速率。
• 分析无放回采样下 SVRG 算法在正则化最小二乘问题中的表现，证明其在高概率下以期望收敛。
• 通过将 SVRG 分析应用于随机划分的数据，推导出分布式优化的通信与计算复杂度边界。
• 利用一致收敛性和集中不等式，控制无放回设置中因抽样依赖性引入的方差。
• 采用递归误差边界和分阶段分析，证明期望次优性呈指数衰减，从而实现达到目标精度所需的对数数量级阶段数。

实验结果

研究问题

• RQ1 我们能否为无放回采样在随机梯度方法中经验上的成功提供理论依据，尽管其存在依赖结构？
• RQ2 在凸优化问题中，无放回采样是否在收敛速率上被证明不显著劣于有放回采样？
• RQ3 无放回采样下的 SVRG 算法是否能在分布式学习环境中实现近乎最优的通信与计算复杂度？
• RQ4 如何将在线 regret 和归纳学习中的概念结合，以分析随机优化中的依赖采样？
• RQ5 无放回采样的理论分析能否扩展到 SVRG 之外的其他快速随机算法？

主要发现

• 对于任何具有在线 regret 保证的算法，其在随机排列数据上单次遍历后的次优性，被有该算法 regret 和假设集的归纳 Rademacher 复杂度之和所界定。
• 对于强凸且光滑损失下的随机梯度下降，期望次优性随阶段数呈指数衰减，s 个阶段后收敛速率为 O(1/4^s)。
• 无放回采样下的 SVRG 算法在期望次优性不超过 ε 时，所需阶段数为 O(log(1/ε))，且使用的样本数不超过 m/2。
• 获得了一种正则化最小二乘问题的近乎最优分布式算法，其通信与运行时复杂度几乎达到信息论下限，前提是每台机器的条件数不超过其数据量的对数因子。
• 分析表明，即使在单次遍历场景下，无放回采样在期望意义下的收敛性能也不劣于有放回采样。
• 所推导的边界依赖于平滑性、强凸性及数据规模等参数，在分布式设置下其紧致性仅相差对数因子。