[论文解读] A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets

Nicolas Le Roux, Mark Schmidt+1 more|arXiv (Cornell University)|Feb 28, 2012

Stochastic Gradient Optimization Techniques参考文献 32被引用 538

一句话总结

本文提出了一种新型随机优化算法——随机平均梯度（SAG）方法，通过保留过去梯度的记忆，实现了有限和问题的线性（指数）收敛。与仅实现次线性收敛的标准随机梯度方法不同，SAG在保持低每轮计算成本的同时实现了快速收敛，在实践中优于标准SG和完整梯度方法。

ABSTRACT

We propose a new stochastic gradient method for optimizing the sum of a finite set of smooth functions, where the sum is strongly convex. While standard stochastic gradient methods converge at sublinear rates for this problem, the proposed method incorporates a memory of previous gradient values in order to achieve a linear convergence rate. In a machine learning context, numerical experiments indicate that the new algorithm can dramatically outperform standard algorithms, both in terms of optimizing the training error and reducing the test error quickly.

研究动机与目标

• 解决标准随机梯度方法在有限和问题中仅能实现次线性收敛的局限性。
• 开发一种算法，在保持随机方法低迭代成本的同时，实现完整梯度方法的线性收敛速率。
• 通过利用有限数据集的结构，实现机器学习应用中更快的训练和测试误差减少。
• 提供一种理论基础坚实的算法，仅使用无偏梯度估计并结合过去梯度的记忆，实现指数收敛。

提出的方法

• SAG方法为每个训练样本存储最近计算的梯度，将其存入缓冲区。
• 在每次迭代中，随机选择一个训练样本，并仅重新计算其梯度；其余梯度则从内存中检索。
• 更新规则结合所有存储的梯度，使用步长形成完整梯度的无偏估计。
• 该方法维护梯度的运行平均值，确保在不每次重新计算所有梯度的情况下实现收敛。
• 使用常数步长，并在强凸性和光滑性假设下实现线性收敛。
• 该算法是增量聚合梯度（IAG）方法的随机变体，专为有限训练集设计。

实验结果

研究问题

• RQ1 能否设计一种随机优化方法，在保持低每轮计算成本的同时，实现有限和问题的线性收敛？
• RQ2 与标准随机梯度方法相比，保留过去梯度记忆如何影响收敛速度？
• RQ3 在有限和优化中，结合随机更新与梯度记忆的方法，其理论收敛速率是多少？
• RQ4 所提出的方法在训练误差和测试误差减少方面是否优于标准随机梯度和完整梯度方法？
• RQ5 在何种条件下，SAG方法的收敛速度优于坐标下降法或加速梯度方法？

主要发现

• SAG方法实现了线性（指数）收敛速率，而标准随机梯度方法仅实现次线性收敛。
• SAG的收敛速率快于标准随机梯度方法，后者在一般无偏梯度访问条件下已被证明是最优的。
• 数值实验表明，SAG在减少训练误差和测试误差方面显著优于标准算法。
• 对于 $ n \gg p $ 的问题，当 $ m_{\sigma} \gg m'_{\sigma} $ 时，SAG的收敛速度可快于坐标下降方法。
• 在有利条件下，SAG的收敛速率可达每 $ n $ 次迭代 $ \exp(-1/64) $，当 $ n $ 较大时优于坐标下降法。
• 由于每轮迭代成本低且收敛速度快，SAG在有效数据遍历次数方面优于完整梯度方法。