[论文解读] Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization

Zeyuan Allen-Zhu|arXiv (Cornell University)|Feb 11, 2018

Stochastic Gradient Optimization Techniques被引用 21

一句话总结

本文提出Katyusha X，一种针对和为非凸函数的实用动量加速随机优化方法——其中非凸分量的平均值为凸函数。通过在SVRG框架中增加一条动量线，该方法在使用小批量时实现了可证明的线性加速，显著提升了PCA和k-SVD等高精度任务的性能。

ABSTRACT

The problem of minimizing sum-of-nonconvex functions (i.e., convex functions that are average of non-convex ones) is becoming increasingly important in machine learning, and is the core machinery for PCA, SVD, regularized Newton's method, accelerated non-convex optimization, and more. We show how to provably obtain an accelerated stochastic algorithm for minimizing sum-of-nonconvex functions, by $\ extit{adding one additional line}$ to the well-known SVRG method. This line corresponds to momentum, and shows how to directly apply momentum to the finite-sum stochastic minimization of sum-of-nonconvex functions. As a side result, our method enjoys linear parallel speed-up using mini-batch.

研究动机与目标

• 设计一种可证明加速的随机算法，用于最小化和为非凸函数的问题，其中非凸分量的平均值为凸函数。
• 将动量直接整合到有限和随机优化中，解决了长期存在的在非凸设置下应用动量的挑战。
• 在随机、有限和设置下，实现与Nesterov方法相当的加速收敛速率，同时具备实际效率。
• 通过小批量实现线性并行加速，使该方法在大规模机器学习任务中可扩展且实用。

提出的方法

• 通过在迭代中增加动量更新步骤，扩展SVRG方法，将其转化为基于动量的随机方差缩减算法。
• 提出一种新颖的动量更新机制，利用和为非凸函数的结构，确保收敛加速。
• 采用非均匀采样策略，采样概率与各函数的平方光滑参数成正比，提升方差缩减效果。
• 使用混合更新规则，结合当前迭代点与动量项，步长设置兼顾收敛性与稳定性。
• 对迭代点应用递归平均方案，以获得具有改进收敛保证的最终解。
• 在强凸与非强凸两种设定下推导收敛边界，证明在两种情况下均实现加速速率。

实验结果

研究问题

• RQ1 能否在有限和随机优化中，对和为非凸函数的问题，可证明且直接地应用动量？
• RQ2 在非凸目标下，将动量最优地整合到类似SVRG的方差缩减随机方法中的最佳方式是什么？
• RQ3 此类动量增强方法能否在保持随机性和有限和特性的同时，实现与Nesterov方法相当的加速收敛速率？
• RQ4 在和为非凸的设定下，动量的引入是否能实现小批量下的线性加速？
• RQ5 在不同光滑性和凸性假设下，所提方法的理论收敛速率是多少？

主要发现

• Katyusha X 在 σ > 0 时达到 O((n + √nL/σ) log(1/ε)) 的加速收敛速率，在 σ = 0 时达到 O(n log(1/ε) + √nL/ε)，与凸有限和问题的最佳已知速率一致。
• 该方法在非凸有限和设定下，仍可证明对条件数具有平方根依赖性，这是加速方法的典型特征。
• 通过小批量实现线性并行加速，强凸情形下的复杂度为 O(n/b + L + √ℓ1ℓ2n/b / σ)。
• 在高精度场景（如PCA和k-SVD）中，收敛速率优于标准SVRG和SGD。
• 该方法是首个为和为非凸优化提供可证明、实用的动量加速的算法，适用于PCA、SVD和非凸牛顿法。
• 理论分析证实，动量步骤对加速至关重要，且该方法在理论和实践中均优于非加速变体。