[论文解读] Conditional Accelerated Lazy Stochastic Gradient Descent

Guanghui Lan, Sebastian Pokutta+2 more|arXiv (Cornell University)|Mar 16, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用 12

一句话总结

本文提出条件加速懒惰随机梯度下降（CALSGD），一种新颖的无投影随机优化算法，针对光滑凸问题实现了最优收敛速率 O(1/ε²)。通过结合加速梯度方法与懒惰线性优化预言机及随机一阶预言机调用，CALSGD 将 Online Frank-Wolfe 的 O(1/ε⁴) 收敛速率改进为 O(1/ε²)，同时保持最优预言机复杂度，并在多种可行集（包括谱体、切割多面体和哈密顿回路凸包）上实现了更快的实际收敛速度。

ABSTRACT

In this work we introduce a conditional accelerated lazy stochastic gradient descent algorithm with optimal number of calls to a stochastic first-order oracle and convergence rate $O\left(\frac{1}{\varepsilon^2} ight)$ improving over the projection-free, Online Frank-Wolfe based stochastic gradient descent of Hazan and Kale [2012] with convergence rate $O\left(\frac{1}{\varepsilon^4} ight)$.

研究动机与目标

• 开发一种保持无投影结构的随机优化算法，同时实现最优收敛速率。
• 减少在随机 Frank-Wolfe 设置中实现收敛所需的随机一阶预言机（SFO）调用次数。
• 将加速技术与懒惰线性优化预言机结合，以在不牺牲理论最优性的情况下提升实际收敛速度。
• 解决现有方法（如 Online Frank-Wolfe）的局限性，后者存在较差的收敛速率（O(1/ε⁴)）和较高的 SFO 成本。

提出的方法

• 提出一种条件性、加速性且懒惰的随机梯度下降变体，整合 Nesterov 风格的加速与懒惰线性优化预言机。
• 在每次迭代中使用弱分离预言机代替求解精确的线性子问题，从而降低每次迭代的计算成本。
• 利用随机一阶预言机来估计梯度，以最小化所需的梯度评估次数。
• 提出一种新颖的分析框架，平衡对偶进展与原始收敛，从而实现最优的 O(1/ε²) 收敛速率。
• 应用 Lan 和 Zhou（2014）提出的条件梯度滑动技术，以解耦梯度与线性优化预言机调用。
• 在保持线性优化预言机调用最优复杂度的同时，实现了最优的 SFO 复杂度。

实验结果

研究问题

• RQ1 无投影随机优化方法是否能在最小化随机一阶预言机调用的同时实现 O(1/ε²) 的收敛速率？
• RQ2 在随机设置下，是否可能在不牺牲收敛保证的前提下将加速技术与懒惰线性优化结合？
• RQ3 与 Online Frank-Wolfe（OFW）相比，所提出的 CALSGD 方法在收敛速度和目标函数值改进方面表现如何？
• RQ4 该方法是否能在诸如谱体和多面体等结构化可行集上，保持最优预言机复杂度的同时显著提升实际性能？
• RQ5 在结合加速与随机梯度时，使用弱分离预言机对收敛性有何影响？

主要发现

• CALSGD 在光滑凸随机优化中实现了最优的 O(1/ε²) 收敛速率，优于 Online Frank-Wolfe 的 O(1/ε⁴) 速率。
• 在所有测试实例中——包括哈密顿回路凸包、切割多面体、Birkhoff 多面体和谱体——CALSGD 在迭代次数和实际运行时间上均比 OFW 更快地达到更低的目标函数值。
• 在 100×100 的 Birkhoff 多面体上，CALSGD 在相同时间窗口内实现的目标函数值比 OFW 高出多个数量级。
• 在标准谱体上的二次优化问题（n=150）中，CALSGD 以更少的迭代次数和更短的实际运行时间，显著优于 OFW。
• 该方法在线性优化预言机调用方面保持了最优复杂度，并实现了最优的 SFO 复杂度，使其在理论和实际性能上均优于以往的无投影随机方法。
• 实验结果证实，OFW 观测到的次优收敛行为与其中 O(T⁻¹/⁴) 的理论速率一致，而 CALSGD 的更快收敛与其中 O(1/ε²) 的理论边界完全吻合。