[论文解读] Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization

Yi Zhou, Zhe Wang+3 more|arXiv (Cornell University)|Feb 7, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用 11

一句话总结

本文提出了适用于SPIDER算法的新型动量方案，其系数设置灵活，可提升非凸与非光滑复合优化中的性能。所提方法在达到广义一阶平稳条件时，实现了接近最优的梯度预言机复杂度，实证结果表明其在实际性能上优于现有方差减少方法。

ABSTRACT

Two new stochastic variance-reduced algorithms named SARAH and SPIDER have been recently proposed, and SPIDER has been shown to achieve a near-optimal gradient oracle complexity for nonconvex optimization. However, the theoretical advantage of SPIDER does not lead to substantial improvement of practical performance over SVRG. To address this issue, momentum technique can be a good candidate to improve the performance of SPIDER. However, existing momentum schemes used in variance-reduced algorithms are designed specifically for convex optimization, and are not applicable to nonconvex scenarios. In this paper, we develop novel momentum schemes with flexible coefficient settings to accelerate SPIDER for nonconvex and nonsmooth composite optimization, and show that the resulting algorithms achieve the near-optimal gradient oracle complexity for achieving a generalized first-order stationary condition. Furthermore, we generalize our algorithm to online nonconvex and nonsmooth optimization, and establish an oracle complexity result that matches the state-of-the-art. Our extensive experiments demonstrate the superior performance of our proposed algorithm over other stochastic variance-reduced algorithms.

研究动机与目标

• 为解决SPIDER等方差减少算法在非凸设置下理论优势与实际性能之间的差距。
• 设计适用于非凸与非光滑复合优化的动量方案，其中现有动量技术失效。
• 实现接近最优的梯度预言机复杂度，以收敛至广义一阶平稳点。
• 将所提算法扩展至在线非凸优化，并匹配最先进预言机复杂度。
• 通过实证验证新方法在性能上优于现有随机方差减少算法。

提出的方法

• 提出针对非凸与非光滑复合优化量身定制的新型动量方案，具有灵活的系数设置。
• 将动量机制融入SPIDER框架，以在保持方差减少的同时加速收敛。
• 采用广义一阶平稳条件作为非凸问题的收敛准则。
• 通过结合在线学习原理与方差减少，将算法适应至在线设置。
• 通过新算法的严格分析，建立梯度预言机复杂度的理论边界。
• 采用混合更新规则，结合随机梯度与动量项，以提升收敛速度。

实验结果

研究问题

• RQ1 动量技术能否被有效适配至非凸与非光滑复合优化中，以提升实际性能？
• RQ2 所提出的增强动量的SPIDER方法在非凸设置下是否实现接近最优的梯度预言机复杂度？
• RQ3 新算法在实际中与SVRG及其他方差减少方法相比表现如何？
• RQ4 该算法能否推广至在线非凸优化，并匹配最先进复杂度？
• RQ5 动量方案中的何种系数设置能在收敛速度与稳定性之间实现最佳权衡？

主要发现

• 所提的增强动量SPIDER算法在非凸与非光滑复合优化中，实现接近最优的梯度预言机复杂度，以达到广义一阶平稳条件。
• 在广泛实验中，该算法在实际性能上显著优于SVRG及其他随机方差减少算法。
• 理论复杂度边界与在线非凸优化的最先进水平匹配，证实其高效性。
• 动量方案中灵活的系数设置显著提升了收敛速度，且未牺牲稳定性。
• 该方法成功推广至在线设置，同时保持最优预言机复杂度。
• 结果表明，通过恰当的动量集成，SPIDER的理论优势可有效转化为实际收益。