[论文解读] Almost sure convergence rates for Stochastic Gradient Descent and Stochastic Heavy Ball

Othmane Sebbouh, Robert M. Gower+1 more|arXiv (Cornell University)|Jun 14, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用 7

一句话总结

该论文在一般随机逼近设定下，首次建立了随机梯度下降（SGD）和随机加速梯度法（SHB）的几乎必然收敛速率。证明了在凸光滑设定下，SGD 的迭代加权平均几乎必然以任意接近 $o(1/ar{\sqrt{k}})$ 的速率收敛，而在过参数化情形下可进一步提升至 $o(1/k)$，SHB 在最后迭代点也具有类似速率。结果可扩展至自适应步长策略，如线搜索和 Polyak 步长，并包含非凸情形下梯度范数的收敛速率。

ABSTRACT

We study stochastic gradient descent (SGD) and the stochastic heavy ball method (SHB, otherwise known as the momentum method) for the general stochastic approximation problem. For SGD, in the convex and smooth setting, we provide the first \emph{almost sure} asymptotic convergence \emph{rates} for a weighted average of the iterates . More precisely, we show that the convergence rate of the function values is arbitrarily close to $o(1/\sqrt{k})$, and is exactly $o(1/k)$ in the so-called overparametrized case. We show that these results still hold when using stochastic line search and stochastic Polyak stepsizes, thereby giving the first proof of convergence of these methods in the non-overparametrized regime. Using a substantially different analysis, we show that these rates hold for SHB as well, but at the last iterate. This distinction is important because it is the last iterate of SGD and SHB which is used in practice. We also show that the last iterate of SHB converges to a minimizer \emph{almost surely}. Additionally, we prove that the function values of the deterministic HB converge at a $o(1/k)$ rate, which is faster than the previously known $O(1/k)$. Finally, in the nonconvex setting, we prove similar rates on the lowest gradient norm along the trajectory of SGD.

研究动机与目标

• 在机器学习与优化中至关重要的随机逼近问题中，建立 SGD 和 SHB 的几乎必然收敛速率。
• 通过提供几乎必然收敛速率（而非仅期望收敛），弥补文献中的空白，针对 SGD 和 SHB。
• 将收敛保证扩展至非过参数化情形下的自适应步长策略，如随机线搜索与随机 Polyak 步长。
• 证明 SHB 的最后迭代点几乎必然收敛至极小值点，这对实际部署至关重要。
• 推导确定性加速梯度法的更快收敛速率，证明其为 $o(1/k)$，而非此前已知的 $O(1/k)$。

提出的方法

• 引入一种新型 SGD 迭代加权平均以分析几乎必然收敛，利用 Robbins-Siegmund 超鞅定理。
• 提出新的步长条件（条件1），确保几乎必然收敛速率，超越经典的 Robbins-Monro 条件。
• 采用李雅普诺夫函数方法分析 SHB，使用状态向量 $z_k = x_k + \lambda_k(x_k - x_{k-1})$ 跟踪收敛过程。
• 利用条件数学期望与凸性/光滑性假设，界定向量到极小值点的距离下降量与目标函数间隙。
• 应用积分界与渐近分析推导收敛速率，尤其针对调和型步长序列 $\eta_k \propto 1/\sqrt{k}$。
• 在 ABC 条件下扩展至非凸设定，证明最小梯度范数以 $o(1/\sqrt{k})$ 的几乎必然速率收敛。

实验结果

研究问题

• RQ1 在凸光滑随机逼近设定下，SGD 的几乎必然收敛速率为何？
• RQ2 在过参数化情形下，即 $\nabla f_v(x_*) = 0$ 时，SGD 的收敛速率能否提升至 $o(1/k)$？
• RQ3 自适应步长方法（如随机线搜索与随机 Polyak 步长）是否几乎必然收敛，收敛速率如何？
• RQ4 能否为实际中使用的 SHB 最后迭代点建立类似的几乎必然收敛速率？
• RQ5 确定性加速梯度法的几乎必然收敛速率是多少？是否可超越 $O(1/k)$？

主要发现

• 对于 SGD，在凸光滑设定下，迭代加权平均的函数值几乎必然以任意接近 $o(1/\sqrt{k})$ 的速率收敛。
• 在过参数化情形下，即随机梯度在极小值点处为零时，收敛速率提升至 $o(1/k)$。
• 结果适用于随机线搜索与随机 Polyak 步长，首次在非过参数化情形下证明了几乎必然收敛。
• 对于 SHB，其最后迭代点几乎必然收敛至极小值点，且函数值收敛速率任意接近 $o(1/\sqrt{k})$。
• 在过参数化情形下，SHB 的最后迭代点实现 $o(1/k)$ 收敛速率，与 SGD 的最佳已知速率一致。
• 确定性加速梯度法以 $o(1/k)$ 的速率收敛，优于此前已知的 $O(1/k)$ 速率。