[论文解读] Accelerated Stochastic Gradient Descent for Minimizing Finite Sums

Atsushi Nitanda|arXiv (Cornell University)|Jun 9, 2015

Stochastic Gradient Optimization Techniques参考文献 1被引用 4

一句话总结

该论文提出了一种名为AMSVRG的新颖随机优化方法，该方法在小批量框架下结合了加速梯度下降与方差缩减技术。对于非强凸问题，其整体复杂度为$\tilde{O}(n + \min\{L/\epsilon, n\sqrt{L/\epsilon}\})$；对于强凸问题，其整体复杂度为$\tilde{O}(n + \min\{\kappa, n\sqrt{\kappa}\})$，在收敛速度和复杂度方面优于SAG、SAGA、AGD和Acc-Prox-SVRG，且无需正则化即可直接应用于两类凸性情形。

ABSTRACT

We propose an optimization method for minimizing the finite sums of smooth convex functions. Our method incorporates an accelerated gradient descent (AGD) and a stochastic variance reduction gradient (SVRG) in a mini-batch setting. Unlike SVRG, our method can be directly applied to non-strongly and strongly convex problems. We show that our method achieves a lower overall complexity than the recently proposed methods that supports non-strongly convex problems. Moreover, this method has a fast rate of convergence for strongly convex problems. Our experiments show the effectiveness of our method.

研究动机与目标

• 解决现有随机方差缩减方法需要正则化或仅限于强凸问题的局限性。
• 开发一种统一的优化框架，实现对非强凸和强凸有限和问题的快速收敛。
• 与SAG、SAGA和AGD等最先进方法相比，降低整体计算复杂度。
• 在不依赖强凸性假设的前提下，将加速梯度下降与小批量设置下的方差缩减相结合。
• 提供一种理论基础坚实的优化方法，其在机器学习经验风险最小化中的收敛速率和复杂度界均得到改进。

提出的方法

• 提出AMSVRG，一种多阶段算法，在小批量设置下结合了加速梯度下降（AGD）与随机方差缩减梯度（SVRG）。
• 通过梯度下降与镜像下降步长的凸组合来加速收敛。
• 采用一个随机梯度估计器$v_k$，通过采样小批量来降低方差，确保$\mathbb{E}[v_k] = \nabla f(x_k)$。
• 引入一种基于Bregman散度的新分析框架，用于界定算法进展并推导收敛速率。
• 将[13]中Nesterov风格的加速机制适配至SVRG框架，实现在无强凸性假设下更快的收敛。
• 使用重启启发式策略动态确定阶段长度，提升实际性能。

实验结果

研究问题

• RQ1 能否设计一种方差缩减方法，在不依赖强凸性的情况下实现加速收敛速率？
• RQ2 在非强凸情况下，最小化有限和的最优复杂度是什么？能否超越SAG和SAGA？
• RQ3 如何有效将AGD中的加速技术整合进小批量SVRG框架？
• RQ4 该方法能否在不使用正则化的情况下，同时在非强凸和强凸情形下保持快速收敛？
• RQ5 所提方法的理论复杂度是多少？与现有最先进方法相比有何差异？

主要发现

• 所提出的AMSVRG方法在非强凸问题中实现了$\tilde{O}(n + \min\{L/\epsilon, n\sqrt{L/\epsilon}\})$的整体复杂度，低于SAG、SAGA和AGD。
• 对于强凸问题，该方法达到$\tilde{O}(n + \min\{\kappa, n\sqrt{\kappa}\}})$的复杂度，与Acc-Prox-SVRG的最佳已知速率相当。
• 该方法可直接应用于非强凸问题，无需使用$L_2$正则化，避免了模型选择的困难。
• 理论分析表明，期望的次优性差距以依赖于$\epsilon$的速率几何递减，达到$\epsilon$-精度仅需$O(\log(1/\epsilon))$轮外循环。
• 实验结果证实了该方法的有效性，实际收敛速度明显快于基线方法。
• 该方法在迭代代价与收敛速度之间实现了有利的权衡，尤其在$L/\epsilon$较大时表现更优。