[论文解读] A Unified Convergence Analysis for Shuffling-Type Gradient Methods

Lam M. Nguyen, Quoc Tran-Dinh+3 more|arXiv (Cornell University)|Feb 19, 2020

Stochastic Gradient Optimization Techniques参考文献 45被引用 26

一句话总结

本文针对有限和优化中的洗牌型梯度方法提出了统一的收敛性分析，涵盖随机重排、单重排列和循环方案。它为非凸和强凸问题建立了新的非渐近收敛速率，非凸情况下达到 $ \mathcal{O}(\log T / \sqrt{T}) $ 的速率，强凸情况下匹配了现有最佳已知速率，且无需有界梯度假设。

ABSTRACT

In this paper, we propose a unified convergence analysis for a class of generic shuffling-type gradient methods for solving finite-sum optimization problems. Our analysis works with any sampling without replacement strategy and covers many known variants such as randomized reshuffling, deterministic or randomized single permutation, and cyclic and incremental gradient schemes. We focus on two different settings: strongly convex and nonconvex problems, but also discuss the non-strongly convex case. Our main contribution consists of new non-asymptotic and asymptotic convergence rates for a wide class of shuffling-type gradient methods in both nonconvex and convex settings. We also study uniformly randomized shuffling variants with different learning rates and model assumptions. While our rate in the nonconvex case is new and significantly improved over existing works under standard assumptions, the rate on the strongly convex one matches the existing best-known rates prior to this paper up to a constant factor without imposing a bounded gradient condition. Finally, we empirically illustrate our theoretical results via two numerical examples: nonconvex logistic regression and neural network training examples. As byproducts, our results suggest some appropriate choices for diminishing learning rates in certain shuffling variants.

研究动机与目标

• 为各种无放回采样策略下的洗牌型梯度方法收敛速率提供统一的理论框架。
• 解决洗牌方案中依赖性带来的挑战，其收敛性分析相比标准SGD中的i.i.d.采样更为复杂。
• 在标准光滑性和梯度方差假设下，推导非凸和强凸有限和问题的非渐近收敛速率。
• 识别出适当的递减学习率调度策略，以确保在洗牌变体中收敛，特别是在非凸设置下。
• 通过非凸逻辑回归和神经网络训练的实例，对理论发现进行经验验证。

提出的方法

• 提出一种适用于任意无放回采样策略（包括随机重排、确定性或随机单重排列以及循环方案）的一般收敛框架。
• 采用一种基于递归不等式的新分析技术，涉及期望目标差距与梯度范数平方的关系：$ \mathbb{E}[F(w_{k+1}) - F_*] \leq \mathbb{E}[F(w_k) - F_*] - \rho \eta_k \mathbb{E}[\|\nabla F(w_k)\|^2] + D \eta_k^2 $。
• 应用广义积分不等式和一个关于递归序列的引理，以界平均梯度范数，从而实现收敛速率的推导。
• 引入一种灵活的学习率策略 $ \eta_t = \gamma / (t + \beta)^\alpha $，其中 $ \alpha \in (1/2, 1) $，允许在收敛速度与稳定性之间进行权衡。
• 通过李雅普诺夫型函数推导收敛界，并通过仔细界定向量方差项来处理非i.i.d.依赖性。
• 采用统一分析方法，避免了先前工作中使用的有界梯度条件，从而提升了结果的普适性。

实验结果

研究问题

• RQ1 在标准光滑性和梯度方差假设下，洗牌型梯度方法在非凸有限和问题中的收敛速率是什么？
• RQ2 能否为包括随机重排和循环方案在内的多种洗牌策略开发统一的收敛性分析？
• RQ3 不同的学习率调度策略如何影响洗牌型方法的收敛性，特别是在非凸设置下？
• RQ4 所提出的分析是否在无有界梯度假设的情况下优于先前工作，特别是在收敛速率方面？
• RQ5 理论发现能否在真实机器学习问题（如逻辑回归和神经网络训练）上得到经验验证？

主要发现

• 本文在非凸有限和问题中为洗牌型方法建立了新的非渐近收敛速率 $ \mathcal{O}(\log T / \sqrt{T}) $，在标准假设下优于现有结果。
• 对于强凸问题，收敛速率与文献中最佳已知速率一致（相差一个常数因子），且无需有界梯度条件。
• 该分析具有普遍性，适用于任何无放回采样策略，包括随机重排、单重排列和循环方案。
• 统一框架使得能够推导出适当的递减学习率调度策略，如 $ \eta_t = \gamma / (t + \beta)^{1/2} $，确保在凸与非凸设置下的收敛性。
• 在非凸逻辑回归和神经网络训练上的实验结果证实了理论预测，显示出相比标准SGD更快的收敛速度。
• 分析表明，学习率 $ \eta_t = \gamma / (t + \beta)^\alpha $ 中 $ \alpha \in (1/2, 1) $ 的选择允许在收敛速度与稳定性之间进行权衡，其中 $ \alpha \to 1/2 $ 时衰减最慢，但可达到最优速率。