[论文解读] A Hybrid Stochastic Optimization Framework for Stochastic Composite Nonconvex Optimization

Quoc Tran-Dinh, Nhan H. Pham+2 more|arXiv (Cornell University)|Jul 8, 2019

Stochastic Gradient Optimization Techniques参考文献 79被引用 10

一句话总结

该论文提出了一种新颖的混合随机估计器，结合了SARAH和SGD估计器，为复合非凸问题构建了一个单循环随机优化框架。在标准假设下，该方法实现了最佳已知的Oracle复杂度$\mathcal{O}(\sigma^3\varepsilon^{-1} + \sigma\varepsilon^{-3})$，与双循环最先进方法的性能相当，同时实现了更简单、更高效的实现方式，且参数调优更少。

ABSTRACT

We introduce a new approach to develop stochastic optimization algorithms for a class of stochastic composite and possibly nonconvex optimization problems. The main idea is to combine two stochastic estimators to create a new hybrid one. We first introduce our hybrid estimator and then investigate its fundamental properties to form a foundational theory for algorithmic development. Next, we apply our theory to develop several variants of stochastic gradient methods to solve both expectation and finite-sum composite optimization problems. Our first algorithm can be viewed as a variant of proximal stochastic gradient methods with a single-loop, but can achieve $\mathcal{O}(σ^3\varepsilon^{-1} + σ\varepsilon^{-3})$-oracle complexity bound, matching the best-known ones from state-of-the-art double-loop algorithms in the literature, where $σ> 0$ is the variance and $\varepsilon$ is a desired accuracy. Then, we consider two different variants of our method: adaptive step-size and restarting schemes that have similar theoretical guarantees as in our first algorithm. We also study two mini-batch variants of the proposed methods. In all cases, we achieve the best-known complexity bounds under standard assumptions. We test our methods on several numerical examples with real datasets and compare them with state-of-the-arts. Our numerical experiments show that the new methods are comparable and, in many cases, outperform their competitors.

研究动机与目标

• 为复合非凸问题开发一种新型随机优化框架，以提升Oracle复杂度并降低实现复杂度。
• 设计一种单循环算法，在无需大量参数调优的情况下，达到与双循环方法相当的理论性能。
• 通过凸组合方式将SARAH的方差减少优势与SGD的无偏性相结合，构建混合估计器，以增强收敛稳定性。
• 为混合估计器建立理论保证，并在标准光滑性和凸性假设下推导复杂度边界。
• 在真实数据集上对方法进行实证验证，并与最先进算法进行性能比较。

提出的方法

• 核心创新在于通过SARAH估计器与无偏SGD估计器的凸组合，构建一种有偏但方差减少的梯度近似估计器。
• 该方法采用单循环结构，结合自适应步长和重启策略，以在不使用双循环机制的情况下保持收敛性。
• 理论分析利用混合估计器的性质，包括有界方差和改进的收敛速率，推导出复杂度边界。
• 该框架被应用于期望型和有限和型复合优化问题，针对每种情形推导了复杂度边界。
• 开发了小批量变体，以将该方法扩展至大规模数据集，在标准假设下保持最优复杂度。
• 分析采用了一种新型李雅普诺夫函数和递归边界，以控制梯度估计器的期望范数，从而获得紧致的复杂度保证。

实验结果

研究问题

• RQ1 结合SARAH和SGD的混合估计器能否实现优于或等同于现有双循环方法的Oracle复杂度？
• RQ2 基于混合估计器的单循环算法是否能在降低实现复杂度的同时保持收敛性保证？
• RQ3 混合估计器是否能在不牺牲收敛速率的前提下支持自适应步长和重启策略？
• RQ4 在标准假设下，该方法针对复合非凸问题的理论Oracle复杂度是多少？
• RQ5 与最先进算法相比，该方法在真实世界数据集上的实证性能如何？

主要发现

• 所提算法实现了$\mathcal{O}(\sigma^3\varepsilon^{-1} + \sigma\varepsilon^{-3})$的Oracle复杂度，与双循环方法的最佳已知边界一致。
• 该方法是首个在复合非凸优化中实现与SVRG和SAGA等双循环方案相同复杂度的单循环随机算法。
• 由于其方差减少特性，混合估计器支持更大的或恒定的步长，从而提升了实际收敛稳定性。
• 自适应步长和重启变体与基础算法保持相同的理论复杂度边界。
• 小批量扩展版本保持了最优复杂度，使该方法可扩展至大规模问题。
• 在真实数据集上的数值实验表明，该方法在收敛速度和精度方面与现有最先进算法相比表现相当或更优。