[论文解读] Katyusha: The First Truly Accelerated Stochastic Gradient Method

Zeyuan Allen-Zhu|arXiv (Cornell University)|Mar 18, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用 4

一句话总结

Katyusha 是首个在各类机器学习目标上实现加速收敛速率的随机一阶方法。通过结合动量与方差缩减，并利用负动量，它实现了最优速率——对于弱凸光滑问题为 $1/\sqrt{\varepsilon}$，对于非光滑情形为 $1/\varepsilon$，迭代次数为 $O((n + \sqrt{n\kappa})\log(1/\varepsilon))$。

ABSTRACT

We introduce $\mathtt{Katyusha}$, the first direct stochastic gradient method that has an accelerated convergence rate. Given an objective that is an average of $n$ convex and smooth functions, $\mathtt{Katyusha}$ converges to an $\varepsilon$-approximate minimizer using $O((n + \sqrt{n \kappa})\cdot \log\frac{f(x_0)-f(x^*)}{\varepsilon})$ stochastic iterations, where $\kappa$ is the condition number. $\mathtt{Katyusha}$ also resolves the following open questions in optimization and machine learning $\bullet$ For weakly convex and smooth objectives (e.g., Lasso, Logistic Regression), $\mathtt{Katyusha}$ is the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ For strongly-convex but non-smooth ERM objectives (e.g., SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ For weakly convex and non-smooth ERM objectives (e.g., L1SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\varepsilon$ rate.

研究动机与目标

• 解决长期存在的开放问题：在一般凸与非光滑目标上，实现随机一阶方法的加速收敛。
• 设计一种随机优化算法，对 Lasso 和 Logistic 回归等弱凸光滑目标，实现最优的 $1/\sqrt{\varepsilon}$ 收敛速率。
• 为强凸但非光滑的经验风险最小化（如 SVM）提供首个实现最优 $1/\sqrt{\varepsilon}$ 速率的随机方法。
• 建立首个实现弱凸非光滑问题（如 L1-SVM）最优 $1/\varepsilon$ 收敛速率的随机方法。
• 在统一框架下整合并加速现有的方差缩减技术，利用负动量实现加速。

提出的方法

• Katyusha 引入了一种新颖的基于动量的更新规则，通过结合正动量与负动量项来加速收敛。
• 它使用一种带方差缩减的有偏随机梯度估计器，受 SVRG 等方法启发，但通过双动量机制进一步增强。
• 该算法维护两个辅助序列：一个用于动量更新，另一个用于负动量分量，从而实现误差项的更快衰减。
• 通过利用 Hessian 矩阵的结构并结合条件数 $\kappa$，在收敛速率界中实现加速。
• 更新规则被设计为最小化期望次优性间隙的上界，从而实现紧致的 $O((n + \sqrt{n\kappa})\log(1/\varepsilon))$ 迭代复杂度。
• 该方法适用于 $n$ 个凸光滑函数的平均形式目标，在标准光滑性与凸性假设下具有收敛性保证。

实验结果

研究问题

• RQ1 随机一阶方法能否在一般凸光滑目标上实现与理论下界匹配的加速收敛速率？
• RQ2 能否设计一种随机算法，使弱凸光滑问题（如 Lasso 和 Logistic 回归）达到最优的 $1/\sqrt{\varepsilon}$ 收敛速率？
• RQ3 随机方法能否在强凸但非光滑的经验风险最小化问题（如 SVM）上实现最优的 $1/\sqrt{\varepsilon}$ 收敛速率？
• RQ4 随机方法能否在弱凸非光滑问题（如 L1-SVM）上实现最优的 $1/\varepsilon$ 收敛速率？
• RQ5 何种新颖的动量机制可在无需完整梯度计算的前提下，在随机设置中实现加速？

主要发现

• Katyusha 对光滑凸目标实现了 $O((n + \sqrt{n\kappa})\log(1/\varepsilon))$ 次随机迭代的加速收敛速率。
• 对于弱凸光滑目标（如 Lasso、Logistic 回归），Katyusha 达到了最优的 $1/\sqrt{\varepsilon}$ 收敛速率。
• 对于强凸但非光滑目标（如 SVM），Katyusha 实现了最优的 $1/\sqrt{\varepsilon}$ 速率，解决了长期存在的开放问题。
• 对于弱凸非光滑目标（如 L1-SVM），Katyusha 实现了最优的 $1/\varepsilon$ 速率，这是此前随机方法无法实现的。
• 该方法是首个以可证明方式将负动量与方差缩减结合，从而在收敛速度上超越标准随机梯度下降的方法。