[论文解读] Stop Wasting My Gradients: Practical SVRG

Reza Babanezhad, Mohamed Osama Ahmed+4 more|arXiv (Cornell University)|Nov 5, 2015

Stochastic Gradient Optimization Techniques参考文献 27被引用 44

一句话总结

本文提出了对随机方差缩减梯度（SVRG）方法的实际改进，以提升效率和收敛性。引入了增长批次策略、支持向量利用、正则化更新以及自适应小批量采样，表明SVRG对不精确梯度计算仍具鲁棒性，并能以更少的梯度计算实现线性收敛。

ABSTRACT

We present and analyze several strategies for improving the performance of stochastic variance-reduced gradient (SVRG) methods. We first show that the convergence rate of these methods can be preserved under a decreasing sequence of errors in the control variate, and use this to derive variants of SVRG that use growing-batch strategies to reduce the number of gradient calculations required in the early iterations. We further (i) show how to exploit support vectors to reduce the number of gradient computations in the later iterations, (ii) prove that the commonly-used regularized SVRG iteration is justified and improves the convergence rate, (iii) consider alternate mini-batch selection strategies, and (iv) consider the generalization error of the method.

研究动机与目标

• 解决SVRG在早期迭代中因完整梯度计算而带来的高计算成本。
• 通过减少梯度计算来提高SVRG效率，同时不牺牲收敛速度。
• 证明并实现SVRG中的正则化，以提升收敛速度和稳定性。
• 探索替代的小批量采样策略，以提升大规模问题上的性能。
• 分析在不精确梯度近似下SVRG的一般化误差和鲁棒性。

提出的方法

• 引入增长批次策略，通过使用逐渐增大的批次来减少早期迭代中的梯度计算量。
• 提出一种混合SG/SVRG方法，在保持线性收敛的同时加速早期进展。
• 在接近解时利用支持向量来减少后期迭代中的梯度计算量。
• 通过证明改进的收敛速率，为正则化SVRG更新的使用提供理论依据。
• 基于利普希茨常数、函数值和梯度范数，设计自适应小批量采样策略。
• 分析使用不精确完整梯度估计的SVRG，表明其对近似误差具有鲁棒性。

实验结果

研究问题

• RQ1 当完整梯度以随时间逐渐提高的精度计算时，SVRG是否仍能保持线性收敛？
• RQ2 增长批次策略如何在不降低收敛性能的前提下减少早期迭代中的梯度计算？
• RQ3 在后期迭代中，支持向量能在多大程度上被利用以减少梯度计算？
• RQ4 在实践中，正则化SVRG是否能提升收敛速度和稳定性？
• RQ5 在均匀采样、基于利普希茨常数的采样，以及基于函数值或梯度范数的采样中，哪种小批量采样策略表现最佳？

主要发现

• 即使完整梯度随时间逐步提高精度，SVRG仍能保持线性收敛，从而支持实际中的不精确计算。
• 增长批次策略显著减少了早期迭代中的梯度计算量，且未损害收敛性能。
• 利用支持向量可减少后期迭代中的梯度计算，尤其在稀疏或高维设置下效果明显。
• 正则化SVRG提升了收敛速度，并在实践中得到验证，尤其在病态条件问题中表现更优。
• 基于梯度范数或函数值的小批量采样策略在性能上与基于利普希茨常数的采样相当或略优，但结果因数据集而异。
• 在某些数据集（如covertype）上，基于函数的采样出现发散，而基于梯度的采样虽达到次优解但测试误差良好，表明泛化性能存在权衡。