[论文解读] Making Gradient Descent Optimal for Strongly Convex Stochastic Optimization

Alexander Rakhlin, Ohad Shamir+1 more|arXiv (Cornell University)|Sep 26, 2011

Stochastic Gradient Optimization Techniques参考文献 9被引用 548

一句话总结

本文证明，标准随机梯度下降（SGD）通过平均处理在强凸且光滑的随机优化问题中可实现最优的 O(1/T) 收敛速率，但在非光滑问题中则无法实现。通过一个简单修改——仅对最后 αT 次迭代进行平均——即可在不改变算法核心结构的前提下恢复最优速率。

ABSTRACT

Stochastic gradient descent (SGD) is a simple and popular method to solve stochastic optimization problems which arise in machine learning. For strongly convex problems, its convergence rate was known to be O(\log(T)/T), by running SGD for T iterations and returning the average point. However, recent results showed that using a different algorithm, one can get an optimal O(1/T) rate. This might lead one to believe that standard SGD is suboptimal, and maybe should even be replaced as a method of choice. In this paper, we investigate the optimality of SGD in a stochastic setting. We show that for smooth problems, the algorithm attains the optimal O(1/T) rate. However, for non-smooth problems, the convergence rate with averaging might really be Ω(\log(T)/T), and this is not just an artifact of the analysis. On the flip side, we show that a simple modification of the averaging step suffices to recover the O(1/T) rate, and no other change of the algorithm is necessary. We also present experimental results which support our findings, and point out open problems.

研究动机与目标

• 确定标准 SGD 与平均处理在强凸随机优化中是否最优，或其已知的 O(log T / T) 速率是否为分析中的产物。
• 探究在非光滑问题中 O(log T / T) 速率是否为算法本质特性，还是源于分析过松。
• 识别对 SGD 的最小修改，以在非光滑设定下恢复最优的 O(1/T) 收敛速率。
• 通过真实数据与合成数据的实证实验验证理论发现。
• 澄清在非光滑设定下，最后迭代与各种平均策略的实际性能表现。

提出的方法

• 直接在随机设定下分析 SGD，避免使用在线到批量的转换。
• 建立期望收敛速率的上界，并扩展至高概率界（最多包含 log(log T) 因子）。
• 引入一种修改后的平均策略：仅对最后 αT 次迭代（α ∈ (0,1)）进行平均，而非全部 T 次迭代。
• 证明该后缀平均策略在非光滑、强凸问题中可实现 O(1/T) 的收敛速率。
• 将光滑性作为标准平均已能实现 O(1/T) 速率的条件。
• 在真实数据集（ccat、cov1、astro-ph）上进行实验，使用带非光滑合页损失的 SVM 目标函数。

实验结果

研究问题

• RQ1 在非光滑强凸问题中，SGD 与平均处理的 O(log T / T) 收敛速率是分析中的产物，还是算法的本质特性？
• RQ2 对平均步骤进行简单修改，是否可使非光滑设定下的收敛速率恢复至最优的 O(1/T)？
• RQ3 当目标函数为光滑时，标准 SGD 与全量平均是否可实现 O(1/T) 的收敛速率？
• RQ4 在非光滑问题中，最后迭代（w_T）与平均迭代相比性能如何？
• RQ5 在真实世界数据上，哪种平均策略——全量平均、后缀平均或最后迭代——在实践中表现最佳？

主要发现

• 对于光滑的强凸随机优化问题，标准 SGD 与平均处理可实现最优的 O(1/T) 收敛速率。
• 在非光滑的强凸问题中，标准平均导致 Ω(log T / T) 的收敛速率，该结果为紧致且非分析误差所致。
• 通过一个简单修改——仅对最后 αT 次迭代进行平均——可在非光滑设定下恢复最优的 O(1/T) 收敛速率。
• 实证结果表明，Sgd-α（后缀平均）优于 Sgd-A（全量平均），而 Sgd-L（最后迭代）在非光滑情况下表现接近最优，尤其在光滑情况下表现更佳。
• 在非光滑问题中，最后迭代（w_T）的实际收敛速率为 Θ(1/T)，尽管现有理论仅能保证 O(1/√T)，表明理论理解仍存在差距。
• 所提出的后缀平均策略在不增加算法复杂度的前提下，实现了最优收敛速率，且仅基于标准 SGD。