[论文解读] Handbook of Convergence Theorems for (Stochastic) Gradient Methods

Guillaume Garrigos, Robert M. Gower|arXiv (Cornell University)|Jan 26, 2023

Stochastic Gradient Optimization Techniques被引用 18

一句话总结

一本手册，汇总了跨越凸、强凸、Polyak-Łojasiewicz，以及光滑/非光滑设置的梯度和随机梯度方法的简单、可复制证明，包括小批量与动量的变体。

ABSTRACT

This is a handbook of simple proofs of the convergence of gradient and stochastic gradient descent type methods. We consider functions that are Lipschitz, smooth, convex, strongly convex, and/or Polyak-Łojasiewicz functions. Our focus is on ``good proofs'' that are also simple. Each section can be consulted separately. We start with proofs of gradient descent, then on stochastic variants, including minibatching and momentum. Then move on to nonsmooth problems with the subgradient method, the proximal gradient descent and their stochastic variants. Our focus is on global convergence rates and complexity rates. Some slightly less common proofs found here include that of SGD (Stochastic gradient descent) with a proximal step, with momentum, and with mini-batching without replacement.

研究动机与目标

• 提供可访问的高层次证明，覆盖常见函数类别（凸、强凸、PL、光滑/非光滑）的梯度和随机梯度方法的收敛性。
• 整理并组织已知证明为简单、可重复的论证，得到全局与复杂度速率。
• 涵盖梯度下降、随机梯度下降、小批量 SGD、随机动量、近端变体及其非光滑扩展。
• 提供按章节应用这些证明的指南，而无需逐字线性阅读全文。

提出的方法

• 给出在凸性、强凸性和 Polyak-Łojasiewicz (PL) 条件下的梯度下降（GD）的证明。
• 扩展到随机变体：SGD、小批量 SGD，以及随机动量。
• 用次梯度法、近端梯度和随机近端变体处理非光滑情况。
• 推导并应用收敛性与复杂度速率（例如凸性的 O(1/t)，强凸性的线性收敛，基于 PL 的界限）。
• 提供关于可微性、凸性、光滑性和强制性（coercivity）的辅助引理，以支持证明。

实验结果

研究问题

• RQ1 在凸、强凸和 PL 假设下，GD及其随机变体的全局收敛性保证和速率是什么？
• RQ2 小批量和动量如何影响 SGD 及其变体的收敛速率？
• RQ3 在确定性和随机设定下，使用子梯度和近端方法处理非光滑问题的复杂度含义是什么？

主要发现

• 在凸且光滑的函数上，采用合适步长，GD 可实现子线性收敛 f(x^t) - inf f ≤ O(1/t)。
• 强凸且光滑的函数在 GD 中产生线性收敛，速率取决于条件数 (1 − μ/L)。
• 带有光滑性的 PL 条件在某些非凸问题上也能产生类似强凸情形的收敛保证。
• 随机变体（SGD、小批量 SGD、动量）在相同函数类假设下具有相应的收敛性结果和复杂度界。
• 非光滑设置（子梯度、近端以及随机近端）以类似的收敛保证和复杂度结果进行处理。
• 该手册汇编并简化证明，提供可访问、可直接引用的推导，覆盖广泛的基于梯度的方法。