[论文解读] Fast Stochastic Variance Reduced Gradient Method with Momentum Acceleration for Machine Learning

Fanhua Shang, Yuanyuan Liu+2 more|arXiv (Cornell University)|Mar 23, 2017

Stochastic Gradient Optimization Techniques参考文献 35被引用 21

一句话总结

该论文提出FSVRG，一种新颖的随机方差缩减梯度方法，结合Nesterov加速动量与递增的周期大小，仅使用一个辅助变量和一个动量权重。该方法在强凸问题上实现线性收敛，在非强凸问题上达到最优的O(1/T²)收敛速率，实际表现优于当前最先进的方法（如Katyusha）。

ABSTRACT

Recently, research on accelerated stochastic gradient descent methods (e.g., SVRG) has made exciting progress (e.g., linear convergence for strongly convex problems). However, the best-known methods (e.g., Katyusha) requires at least two auxiliary variables and two momentum parameters. In this paper, we propose a fast stochastic variance reduction gradient (FSVRG) method, in which we design a novel update rule with the Nesterov's momentum and incorporate the technique of growing epoch size. FSVRG has only one auxiliary variable and one momentum weight, and thus it is much simpler and has much lower per-iteration complexity. We prove that FSVRG achieves linear convergence for strongly convex problems and the optimal $\mathcal{O}(1/T^2)$ convergence rate for non-strongly convex problems, where $T$ is the number of outer-iterations. We also extend FSVRG to directly solve the problems with non-smooth component functions, such as SVM. Finally, we empirically study the performance of FSVRG for solving various machine learning problems such as logistic regression, ridge regression, Lasso and SVM. Our results show that FSVRG outperforms the state-of-the-art stochastic methods, including Katyusha.

研究动机与目标

• 为解决现有加速随机方法（如Katyusha）存在的高每轮迭代复杂度与复杂设计问题，这些方法需要多个辅助变量和动量参数。
• 开发一种更简单、更高效的随机优化方法，同时在强凸与非强凸问题上保持快速收敛。
• 将方法扩展至处理非光滑分量函数（如SVM与Lasso中的函数），而无需依赖虚拟正则化项。
• 在最小化计算开销的前提下，实现最优收敛速率——强凸问题上线性收敛，非强凸问题下为O(1/T²)。

提出的方法

• 提出一种新颖的更新规则，将Nesterov动量整合进仅含一个辅助变量和一个动量权重的方差缩减框架中。
• 采用递增周期大小策略以加速收敛，动态增加外循环中每轮的内迭代次数。
• 使用混合梯度估计器，结合完整梯度信息与随机梯度，高效降低方差。
• 应用近端更新处理ℓ₁-范数与弹性网络等非光滑正则化项，使方法可直接应用于SVM与Lasso。
• 通过李雅普诺夫函数推导收敛边界，该函数追踪至最优解的距离与动量项。
• 建立理论保证：强凸问题上线性收敛，非强凸问题下为O(1/T²)收敛速率。

实验结果

研究问题

• RQ1 能否仅使用一个辅助变量与一个动量参数，使随机优化方法实现线性收敛？
• RQ2 结合Nesterov动量与递增周期大小是否能在不增加每轮迭代复杂度的前提下提升收敛速度？
• RQ3 该方法能否在保持简洁性的同时，对非强凸问题实现最优的O(1/T²)收敛速率？
• RQ4 与现有最先进方法相比，FSVRG在SVM与Lasso等非光滑问题上的表现如何？
• RQ5 该方法在多样化的机器学习任务中是否具备可扩展性与实际效率？

主要发现

• FSVRG在强凸问题上实现线性收敛，达到最优理论边界。
• 在非强凸问题上，FSVRG实现最优的O(1/T²)收敛速率，优于标准随机方法的O(1/T)速率。
• 该方法仅需一个辅助变量与一个动量权重，相比Katyusha等方法显著降低了每轮迭代复杂度。
• 实验结果表明，FSVRG在逻辑回归、岭回归、Lasso与SVM任务上均优于当前最先进方法，包括Katyusha。
• 该算法可直接应用于SVM与Lasso等非光滑问题，无需引入虚拟正则化项，避免性能下降。
• 递增周期大小策略显著提升收敛速度，并在非强凸设定下促成最优收敛速率。