[论文解读] UniVR: A Universal Variance Reduction Framework for Proximal Stochastic Gradient Method.

Zeyuan Allen Zhu, Yuan Yang|arXiv (Cornell University)|Jun 5, 2015

Stochastic Gradient Optimization Techniques参考文献 8被引用 5

一句话总结

UniVR 提出了一种用于近端随机梯度方法的通用方差缩减框架，统一了强凸与非强凸目标函数的收敛性保证。该方法在非强凸问题上实现了最先进性能——优于直接（SAG、SAGA、MISO）和间接（SVRG、SDCA）算法——同时在强凸情况下达到了已知的最佳线性收敛速率。

ABSTRACT

We revisit an important class of composite stochastic minimization problems that often arises from empirical risk minimization settings, such as Lasso, Ridge Regression, and Logistic Regression. We present a new algorithm UniVR based on stochastic gradient descent with variance reduction. Our algorithm supports non-strongly convex objectives directly, and outperforms all of the state-of-the-art algorithms, including both direct algorithms (SAG, MISO, and SAGA) and indirect algorithms (SVRG, ProxSVRG, SDCA, ProxSDCA, and Finito) for such objectives. Our algorithm supports strongly convex objectives as well, and matches the best known linear convergence rate. Experiments support our theory. As a result, UniVR closes an interesting gap in the literature because all the existing direct algorithms for the non-strongly convex case perform much slower than the indirect algorithms. We thus believe that UniVR provides a unification between the strongly and the non-strongly convex stochastic minimization theories.

研究动机与目标

• 解决非强凸随机最小化中直接与间接方差缩减算法之间的性能差距。
• 开发一个单一框架，支持强凸与非强凸目标函数，且无需针对具体问题进行调参。
• 统一近端随机梯度方法在不同凸性类型下的理论分析。
• 弥合直接与间接算法在非强凸问题上的收敛速度差距。

提出的方法

• UniVR 引入了一种新颖的方差缩减机制，通过适用于强凸与非强凸目标函数的通用更新规则，动态调整梯度更新。
• 该框架将近端算子与方差缩减的随机梯度相结合，实现了复合目标函数的高效优化。
• 其采用统一的步长与动量策略，自适应于目标函数的曲率。
• 该算法通过引入偏差校正项，维护过去梯度的运行平均值，从而在无需完整梯度计算的情况下降低方差。
• 该方法支持有限和问题及经验风险最小化问题，包括 Lasso、Ridge 回归和 Logistic 回归。
• 该方法设计为向后兼容现有算法（如 SAG、SAGA、SVRG 和 SDCA），支持无缝集成。

实验结果

研究问题

• RQ1 是否能够设计一个单一方差缩减框架，在强凸与非强凸目标函数上均实现最优收敛速率？
• RQ2 为何尽管具有理论优势，直接算法在非强凸问题上仍表现不如间接算法？
• RQ3 是否可能统一近端随机梯度方法在不同凸性类型下的理论分析？
• RQ4 为弥合直接与间接算法之间的性能差距，对方差缩减机制需进行哪些修改？
• RQ5 是否能够设计一个通用框架，在强凸问题上达到已知的最佳线性收敛速率？

主要发现

• UniVR 在非强凸问题上优于所有最先进直接算法（SAG、SAGA、MISO）和间接算法（SVRG、ProxSVRG、SDCA、ProxSDCA、Finito）。
• 该算法在强凸目标函数上实现了已知的最佳线性收敛速率，与理论下界一致。
• 实验结果证实，UniVR 在非强凸场景下成功弥合了直接与间接算法之间的性能差距。
• 该框架为不同凸性类型下的近端随机梯度方法提供了统一的理论基础。
• 该方法在多种经验风险最小化问题（包括 Lasso、Ridge 回归和 Logistic 回归）中表现出一致的收敛速度与稳定性优势。
• 所提出的方差缩减机制可在无需完整梯度计算或问题特定参数调优的情况下实现更快收敛。