[论文解读] Global Convergence and Stability of Stochastic Gradient Descent

Vivak Patel, Shushu Zhang+1 more|arXiv (Cornell University)|Oct 4, 2021

Stochastic Gradient Optimization Techniques参考文献 27被引用 7

一句话总结

本文在最弱假设下建立了随机梯度下降（SGD）的全局收敛性和稳定性，证明了在任意非凸性和噪声模型下，SGD 要么全局收敛到驻点，要么发散。在对非凸性和噪声施加稍强的联合条件下，即使迭代点发散，目标函数仍保持有界，显著拓宽了SGD在具有复杂、非i.i.d.噪声和非凸目标的实际机器学习问题中的理论适用范围。

ABSTRACT

In machine learning, stochastic gradient descent (SGD) is widely deployed to train models using highly non-convex objectives with equally complex noise models. Unfortunately, SGD theory often makes restrictive assumptions that fail to capture the non-convexity of real problems, and almost entirely ignore the complex noise models that exist in practice. In this work, we make substantial progress on this shortcoming. First, we establish that SGD's iterates will either globally converge to a stationary point or diverge under nearly arbitrary nonconvexity and noise models. Under a slightly more restrictive assumption on the joint behavior of the non-convexity and noise model that generalizes current assumptions in the literature, we show that the objective function cannot diverge, even if the iterates diverge. As a consequence of our results, SGD can be applied to a greater range of stochastic optimization problems with confidence about its global convergence behavior and stability.

研究动机与目标

• 填补SGD理论中依赖于严格假设（如全局Lipschitz连续性和有界梯度方差）的空白。
• 证明标准假设在实际机器学习问题（包括前馈神经网络和循环神经网络以及Poisson回归）中不成立。
• 提出一种新颖的理论框架，用于分析在任意非凸性和噪声模型下的SGD。
• 建立SGD全局收敛或即使迭代点发散仍保持稳定的条件。
• 为复杂的真实世界随机优化问题提供统一的SGD理论基础。

提出的方法

• 引入使用一列停时 $\tau_j$ 的停时分析，以控制SGD迭代点的行为。
• 定义一个李雅普诺夫函数 $L(\theta_k, \theta_{k+1})$，用于追踪进展并整合梯度范数和目标函数值。
• 采用广义光滑性假设，涉及 $ (L_0, L_1) $-光滑性及非均匀步长规则，以处理非Lipschitz梯度。
• 应用马尔可夫不等式和期望界，证明梯度范数最终以高概率趋于零。
• 建立沿轨迹的梯度范数几乎必然收敛到零，意味着收敛到驻点。
• 利用Hessian矩阵和步长矩阵 $M_k$ 的性质，控制迭代点的增长并确保稳定性。

实验结果

研究问题

• RQ1 在实际机器学习问题中常见的任意非凸性和噪声模型下，SGD能否实现全局收敛或保持稳定？
• RQ2 在前馈网络和Poisson回归等实际模型中，标准假设（如全局Lipschitz连续性和有界梯度方差）是否成立？
• RQ3 在非凸性和噪声的何种联合条件下，即使SGD迭代点发散，目标函数仍能保持有界？
• RQ4 是否可能在不假设方差有界或梯度Lipschitz的条件下，证明SGD的全局收敛性？
• RQ5 如何利用停时分析和李雅普诺夫函数在弱假设下建立收敛性？

主要发现

• 在任意非凸性和噪声模型下，SGD迭代点要么全局收敛到驻点，要么发散。
• 在对非凸性和噪声施加稍强的联合条件下，即使迭代点发散，目标函数仍保持有界。
• 梯度范数 $\|\dot{F}(\theta_k)\|_2$ 沿轨迹以几乎必然方式收敛到零，意味着收敛到驻点。
• 本文证明，在给定假设下，停时 $\tau_j = \infty$ 的概率为1，确保了长期稳定性。
• 分析表明，在标准模型（如前馈网络和Poisson回归）中，随机梯度的方差是无界的，从而否定了常见假设。
• 该理论框架适用于复杂的真实世界问题，如RNN训练、神经网络和Poisson回归，其中经典假设不成立。