[论文解读] Improved SVRG for Non-Strongly-Convex or Sum-of-Non-Convex Objectives

Zeyuan Allen-Zhu, Yuan Yang|arXiv (Cornell University)|Jun 5, 2015

Stochastic Gradient Optimization Techniques被引用 26

一句话总结

该论文针对非强凸优化和非凸函数之和问题，改进了随机方差缩减梯度（SVRG）方法，提出一种新型变体，实现更快收敛，且无需引入虚拟正则化。作者提供了更紧致的理论边界，并在Lasso、逻辑回归和主成分分析（PCA）任务上展示了优越的性能，其理论与实践表现均优于现有方法在基准数据集上的表现。

ABSTRACT

Many classical algorithms are found until several years later to outlive the confines in which they were conceived, and continue to be relevant in unforeseen settings. In this paper, we show that SVRG is one such method: being originally designed for strongly convex objectives, it is also very robust in non-strongly convex or sum-of-non-convex settings. More precisely, we provide new analysis to improve the state-of-the-art running times in both settings by either applying SVRG or its novel variant. Since non-strongly convex objectives include important examples such as Lasso or logistic regression, and sum-of-non-convex objectives include famous examples such as stochastic PCA and is even believed to be related to training deep neural nets, our results also imply better performances in these applications.

研究动机与目标

• 解决标准SVRG在非强凸和非凸函数之和设置下的局限性，其中标准收敛性保证不适用。
• 消除对虚拟正则化（如Tikhonov正则化）的需求，避免解的失真并突破收敛至非零误差下限的限制。
• 开发一种理论基础扎实且实用的SVRG变体，保持快速收敛，同时无需强凸性或光滑性假设。
• 在Lasso、逻辑回归和随机PCA等关键机器学习问题上，展示改进的性能。

提出的方法

• 提出一种新型SVRG变体，通过在随机梯度更新中引入基于自适应周期长度的方差缩减梯度估计器，实现改进。
• 采用快照机制，定期在参考点计算完整梯度，以降低随机梯度估计的方差。
• 引入一种动态周期长度策略，根据优化进展自适应调整，提升非强凸设置下的收敛速度。
• 建立新的理论分析框架，证明在不添加正则化的情况下，非强凸目标函数仍可实现线性收敛。
• 通过利用目标函数的结构（如PCA中各分量为非凸），将方法推广至非凸函数之和问题。
• 采用改进的收敛性分析，不依赖强凸性，转而基于梯度支配性（gradient dominance）和误差界（error bounds）概念。

实验结果

研究问题

• RQ1 SVRG能否在不添加人工正则化的情况下，有效应用于Lasso和逻辑回归等非强凸目标函数？
• RQ2 在缺乏强凸性假设的条件下，SVRG的理论收敛性保证为何种形式？
• RQ3 SVRG方法应如何修改，以处理如随机PCA中的非凸函数之和问题？
• RQ4 在非强凸设置下，实现快速收敛的最优周期长度与步长选择为何？
• RQ5 所提出的变体在真实世界数据集上与SAGA、SDCA和SVRG++等现有方法相比，实证表现如何？

主要发现

• 所提出的SVRG变体在非强凸目标函数上实现了线性收敛，收敛速率与无需正则化的最优已知结果一致。
• 在Ijcnn1和Mnist等多个数据集上，该方法在Lasso、逻辑回归和岭回归任务中均优于标准SVRG、SAGA和SDCA。
• 在Ijcnn1数据集上，该方法在每样本梯度评估次数少于30次的情况下，将训练损失降低至最优值的10^-11以内。
• 在Mnist数据集上，该方法在稀疏设置（如σ = 10^-6的Lasso）下，收敛速度优于SVRG++和SAGA。
• 动态周期长度策略显著提升了性能，尤其在病态条件或非强凸问题中表现突出。
• 理论分析证实，随着迭代次数增加，该方法收敛至真实最小值，而正则化变体则收敛至非零误差。