[论文解读] Don't Jump Through Hoops and Remove Those Loops: SVRG and Katyusha are Better Without the Outer Loop

Dmitry Kovalev, Samuel Horváth+1 more|arXiv (Cornell University)|Jan 24, 2019

Stochastic Gradient Optimization Techniques参考文献 28被引用 11

一句话总结

本文通过用小概率触发的随机硬币抛掷替代外层循环，提出了无循环的SVRG和Katyusha变体，该机制以小概率p触发完整梯度计算。新方法在无需了解条件数的情况下，实现了与原始方法相同的理论收敛速率，数值实验表明其在实际应用中表现更优且更鲁棒。

ABSTRACT

The stochastic variance-reduced gradient method (SVRG) and its accelerated variant (Katyusha) have attracted enormous attention in the machine learning community in the last few years due to their superior theoretical properties and empirical behaviour on training supervised machine learning models via the empirical risk minimization paradigm. A key structural element in both of these methods is the inclusion of an outer loop at the beginning of which a full pass over the training data is made in order to compute the exact gradient, which is then used to construct a variance-reduced estimator of the gradient. In this work we design {\em loopless variants} of both of these methods. In particular, we remove the outer loop and replace its function by a coin flip performed in each iteration designed to trigger, with a small probability, the computation of the gradient. We prove that the new methods enjoy the same superior theoretical convergence properties as the original methods. However, we demonstrate through numerical experiments that our methods have substantially superior practical behavior.

研究动机与目标

• 消除SVRG与Katyusha中的外层循环，该循环传统上要求在每次迭代中计算完整梯度。
• 设计一种随机机制——使用小概率p的硬币抛掷——以触发完整梯度计算，替代确定性的外层循环。
• 证明无循环变体在无需事先了解条件数的情况下，仍能保持与原始方法相同的理论收敛速率。
• 通过实验表明，无循环方法在实际中比其有循环对应方法更鲁棒且更快。
• 为硬币抛掷概率p的最优选择提供理论基础，证明当p = 1/n时可获得最佳速率，且无需估计条件数。

提出的方法

• 用随机机制替代SVRG与Katyusha的确定性外层循环：在每次迭代中，以概率p计算完整梯度，并用其构建方差减少估计器。
• 采用原始SVRG中的相同方差减少机制：g^k = ∇f_i(x^k) - ∇f_i(w^k) + ∇f(w^k)，确保无偏性并随时间降低方差。
• 引入概率为p的硬币抛掷以触发完整梯度计算，其中p从区间[1/n, μ/L]中选取，适用于条件良好的问题。
• 证明无循环SVRG的迭代复杂度与标准SVRG相同，为O((n + L/μ) log(1/ε))，当p = 1/n时达到最优性能。
• 将无循环设计扩展至Katyusha，使用负动量，证明其加速速率O((n + √(nL/μ)) log(1/ε))得以保持。
• 分析每次迭代的完整梯度评估的期望次数为O(1 + pn)，并证明当p = Θ(1/n)时可实现最优总复杂度。

实验结果

研究问题

• RQ1 能否在不牺牲收敛速率或鲁棒性的情况下，从SVRG与Katyusha中移除外层循环？
• RQ2 使用硬币抛掷触发完整梯度计算的随机机制，能否实现与原始双层循环结构相同的理论收敛性能？
• RQ3 无循环变体是否能在无需事先了解条件数的情况下，实现与SVRG和Katyusha相同的收敛速率？
• RQ4 硬币抛掷概率p的选择如何影响无循环方法的实际性能？
• RQ5 在多种数据集和正则化设置下，无循环变体是否在实际中比其有循环对应方法更鲁棒且更快？

主要发现

• 无循环SVRG即使在未知条件数μ/L的情况下，仍能达到与标准SVRG相同的O((n + L/μ) log(1/ε))迭代复杂度。
• 对于无循环SVRG，当硬币抛掷概率设置为p = 1/n时可实现最优速率，这是首个无需条件数估计的此类结果。
• 无循环Katyusha保持了加速速率O((n + √(nL/μ)) log(1/ε))，与原始方法的理论性能完全一致。
• 数值实验表明，L-SVRG在多个数据集上始终优于标准SVRG，某些情况下速度提升达数个数量级。
• L-Katyusha的性能至少与标准Katyusha相当，在某些场景下显著更快，表现出对p选择的鲁棒性。
• 无循环方法对超参数选择更具鲁棒性：即使最差的无循环变体也优于最佳的有循环变体。