[论文解读] Katyusha: Accelerated Variance Reduction for Faster SGD.

Zeyuan Allen Zhu|arXiv (Cornell University)|Mar 18, 2016

Stochastic Gradient Optimization Techniques参考文献 25被引用 12

一句话总结

Katyusha 是一种新型的随机梯度方法，通过将方差缩减与负向动量项相结合，实现了对有限和凸光滑函数最小化问题的加速收敛。它在使用 $O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$ 个随机梯度的情况下，达到了最优收敛速率——非强凸问题为 $1/\sqrt{\varepsilon}$，秩一函数问题为 $1/\varepsilon$，从而解决了随机优化领域长期存在的开放性问题。

ABSTRACT

We consider minimizing $f(x)$ that is an average of $n$ convex, smooth functions $f_i(x)$, and provide the first direct stochastic gradient method $\mathtt{Katyusha}$ that has the accelerated convergence rate. It converges to an $\varepsilon$-approximate minimizer using $O((n + \sqrt{n \kappa})\cdot \log\frac{f(x_0)-f(x^*)}{\varepsilon})$ stochastic gradients where $\kappa$ is the condition number. $\mathtt{Katyusha}$ is a primal-only method, supporting proximal updates, non-Euclidean norm smoothness, mini-batch sampling, as well as non-uniform sampling. It also resolves the following open questions in machine learning $\bullet$ If $f(x)$ is not strongly convex (e.g., Lasso, logistic regression), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ If $f(x)$ is strongly convex and each $f_i(x)$ is rank-one (e.g., SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ If $f(x)$ is not strongly convex and each $f_i(x)$ is rank-one (e.g., L1SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\varepsilon$ rate. The main ingredient in $\mathtt{Katyusha}$ is a novel negative on top of momentum that can be elegantly coupled with the existing variance reduction trick for stochastic gradient descent. As a result, since variance reduction has been successfully applied to fast growing list of practical problems, our paper implies that one had better hurry up and give $\mathtt{Katyusha}$ a hug in each of them, in hoping for a faster running time also in practice.

研究动机与目标

• 解决机器学习中非强凸和秩一问题缺乏加速随机方法的问题。
• 解决在 Lasso、逻辑回归和 SVM 等设置下，随机梯度方法最优收敛速率的开放性问题。
• 设计一种仅支持原始变量更新的方法，支持近端更新、非欧几里得范数、小批量采样和非均匀采样。
• 首次在这些问题类别中实现随机设置下的最优 $1/\sqrt{\varepsilon}$ 和 $1/\varepsilon$ 收敛速率。
• 通过一种新颖的动量-方差缩减耦合机制，提供一种在理论和实践上均优于现有 SGD 变体的实用且理论最优的替代方案。

提出的方法

• Katyusha 引入了一种新颖的负向动量项，优雅地与随机梯度下降中的方差缩减技术相结合。
• 该方法采用仅原始变量的框架，支持近端更新和非欧几里得光滑性范数。
• 采用双时间尺度更新规则，平衡动量与方差缩减，提升收敛稳定性。
• 该算法支持小批量采样和非均匀采样策略，提升实际效率。
• 其核心创新在于将负向动量与方差缩减相结合，从而稳定并加速收敛。
• 该方法在 $O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$ 次随机梯度评估中实现收敛。

实验结果

研究问题

• RQ1 能否设计一种随机一阶方法，实现非强凸问题（如 Lasso 和逻辑回归）的最优 $1/\sqrt{\varepsilon}$ 收敛速率？
• RQ2 能否设计一种随机方法，在每个 $f_i(x)$ 为秩一函数（如 SVM）时，实现最优 $1/\sqrt{\varepsilon}$ 收敛速率？
• RQ3 能否设计一种随机方法，在非强凸函数且每个 $f_i(x)$ 为秩一函数（如 L1-SVM）时，实现最优 $1/\varepsilon$ 收敛速率？
• RQ4 如何有效将负向动量与方差缩减结合，以在随机优化中加速收敛？
• RQ5 所提出的方法是否在理论和实践上均优于现有随机梯度方法，在多种机器学习问题中表现更优？

主要发现

• Katyusha 首次实现了非强凸问题（如 Lasso 和逻辑回归）的最优 $1/\sqrt{\varepsilon}$ 收敛速率。
• 对于 SVM 等秩一函数，Katyusha 在随机设置下首次实现了最优 $1/\sqrt{\varepsilon}$ 收敛速率。
• 当 $f(x)$ 为非强凸且每个 $f_i(x)$ 为秩一函数时，Katyusha 实现了最优 $1/\varepsilon$ 收敛速率。
• 该方法仅需 $O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$ 次随机梯度评估，达到理论下界。
• 负向动量与方差缩减的有效结合，使收敛速度优于标准 SGD 和现有加速方法。
• Katyusha 是首个支持近端更新、非欧几里得范数、小批量采样和非均匀采样的原始方法，同时保持最优收敛速率。