[论文解读] Variance-Reduced and Projection-Free Stochastic Optimization

Elad Hazan, Haipeng Luo|arXiv (Cornell University)|Feb 5, 2016

Stochastic Gradient Optimization Techniques参考文献 15被引用 79

一句话总结

本文提出两种方差减少、无投影的随机Frank-Wolfe算法，显著减少了实现 $1 - \epsilon$ 精度所需的随机梯度评估次数。通过结合Nesterov加速与方差减少，这些方法在光滑且强凸目标函数下达到 $\mathcal{O}(\ln \frac{1}{\epsilon})$ 次随机梯度评估，在光滑Lipschitz目标函数下达到 $\mathcal{O}(\frac{1}{\epsilon^{1.5}})$ 次——优于先前工作所需的 $\mathcal{O}(\frac{1}{\epsilon})$ 和 $\mathcal{O}(\frac{1}{\epsilon^2})$。

ABSTRACT

The Frank-Wolfe optimization algorithm has recently regained popularity for machine learning applications due to its projection-free property and its ability to handle structured constraints. However, in the stochastic learning setting, it is still relatively understudied compared to the gradient descent counterpart. In this work, leveraging a recent variance reduction technique, we propose two stochastic Frank-Wolfe variants which substantially improve previous results in terms of the number of stochastic gradient evaluations needed to achieve $1-ε$ accuracy. For example, we improve from $O(\frac{1}ε)$ to $O(\ln\frac{1}ε)$ if the objective function is smooth and strongly convex, and from $O(\frac{1}{ε^2})$ to $O(\frac{1}{ε^{1.5}})$ if the objective function is smooth and Lipschitz. The theoretical improvement is also observed in experiments on real-world datasets for a multiclass classification application.

研究动机与目标

• 解决大规模机器学习问题中，针对结构化约束缺乏高效无投影随机优化方法的问题。
• 通过减少实现 $1 - \epsilon$ 精度所需随机梯度评估次数，提升随机Frank-Wolfe算法的收敛速率。
• 利用方差减少与Nesterov加速，实现更快收敛，同时保持无投影特性。
• 在真实世界数据集上，通过理论与实证分析，展示所提方法相较于现有随机Frank-Wolfe与投影随机梯度下降方法的改进。

提出的方法

• 提出STOC（带方差减少的随机Frank-Wolfe）方法，将方差减少技术整合进Frank-Wolfe框架，以降低梯度方差。
• 提出STORC（带递归修正的随机优化）方法，结合Nesterov加速与递归修正，以提升收敛速率。
• 采用递归更新规则，维护一组辅助点序列，以追踪最优解路径，从而加快收敛速度。
• 通过控制变量实现方差减少，以稳定梯度估计并降低随机更新中的噪声。
• 通过在约束集 $\Omega$ 上求解线性子问题，保持无投影更新，确保计算效率。
• 利用光滑性与强凸性性质，对期望次优间隙进行上界估计，从而获得更优的收敛速率。

实验结果

研究问题

• RQ1 梯度下降中的方差减少技术能否被有效适配到无投影随机Frank-Wolfe优化中？
• RQ2 在随机Frank-Wolfe算法中，随机梯度评估次数与线性优化调用次数之间是否存在最优权衡？
• RQ3 能否将Nesterov加速与方差减少结合，以在随机Frank-Wolfe设置下实现更快收敛？
• RQ4 在真实世界机器学习任务中，所提算法与投影随机梯度下降及先前随机Frank-Wolfe方法相比，实际表现如何？
• RQ5 在无投影设置下，是否可能实现强凸目标函数的 $\mathcal{O}(\ln \frac{1}{\epsilon})$ 随机梯度复杂度？

主要发现

• 对于光滑且强凸目标函数，所提STORC算法实现 $\mathcal{O}(\ln \frac{1}{\epsilon})$ 次随机梯度评估，优于先前 $\mathcal{O}(\frac{1}{\epsilon})$ 的界。
• 对于光滑但非强凸目标函数，方法将随机梯度复杂度从 $\mathcal{O}(\frac{1}{\epsilon^2})$ 降低至 $\mathcal{O}(\frac{1}{\epsilon^{1.5}})$。
• 线性优化调用次数保持在 $\mathcal{O}(\frac{1}{\epsilon})$，与先前工作一致，但随机梯度复杂度显著降低。
• 算法最多需要 $\mathcal{O}(\ln \frac{1}{\epsilon})$ 次精确梯度计算，与其他操作相比计算开销可忽略不计。
• 在三个大规模真实世界多分类数据集上的实验表明，所提方法在性能上显著优于先前的无投影算法及投影随机梯度下降变体。
• 理论收敛速率得到实证验证，所提方法在收敛速度与最终精度方面均优于基线算法。