[论文解读] Continuous and Discrete-Time Analysis of Stochastic Gradient Descent for Convex and Non-Convex Functions

Xavier Fontaine, Valentin De Bortoli+1 more|arXiv (Cornell University)|Apr 8, 2020

Stochastic Gradient Optimization Techniques参考文献 40被引用 6

一句话总结

本文通过时间非时齐随机微分方程（SDEs）对随机梯度下降（SGD）提供了严格的连续时间近似，实现了对凸函数和非凸函数的非渐近收敛界。相较于先前工作，该研究在更弱的假设下建立了更紧致的收敛结果，并通过放松的 Łojasiewicz 型条件推导出非凸函数的有限时间收敛性。

ABSTRACT

This paper proposes a thorough theoretical analysis of Stochastic Gradient Descent (SGD) with decreasing step sizes. First, we show that the recursion defining SGD can be provably approximated by solutions of a time inhomogeneous Stochastic Differential Equation (SDE) in a weak and strong sense. Then, motivated by recent analyses of deterministic and stochastic optimization methods by their continuous counterpart, we study the long-time convergence of the continuous processes at hand and establish non-asymptotic bounds. To that purpose, we develop new comparison techniques which we think are of independent interest. This continuous analysis allows us to develop an intuition on the convergence of SGD and, adapting the technique to the discrete setting, we show that the same results hold to the corresponding sequences. In our analysis, we notably obtain non-asymptotic bounds in the convex setting for SGD under weaker assumptions than the ones considered in previous works. Finally, we also establish finite time convergence results under various conditions, including relaxations of the famous Łojasiewicz inequality, which can be applied to a class of non-convex functions.

研究动机与目标

• 为了弥合离散 SGD 与连续时间 SDE 模型之间的理论鸿沟，以深化理论理解。
• 在现有文献要求更弱假设的条件下，为凸设置下的 SGD 建立非渐近收敛界。
• 通过放松的 Łojasiewicz 型不等式，将收敛性分析扩展至非凸函数。
• 开发用于 SDE 的新型比较技术，其本身具有独立的理论价值。
• 将连续时间收敛结果成功回传至离散 SGD 设置，并提供可证明的保证。

提出的方法

• 通过弱近似和强近似定理，将 SGD 迭代关系形式化为时间非时齐 SDE。
• 利用 SDE 的新型比较技术分析其长期行为与收敛速率。
• 为凸函数建立期望次优间隙的非渐近界。
• 将连续时间分析方法适配，以推导 SGD 序列的离散时间收敛结果。
• 引入 Łojasiewicz 不等式的放松版本，以处理具有多项式衰减特性的非凸函数。
• 在这些放松条件下，证明了一类非凸函数的有限时间收敛性。

实验结果

研究问题

• RQ1 SGD 迭代关系能否在弱和强意义下被严格近似为时间非时齐 SDE？
• RQ2 通过连续时间分析，能否为凸优化中的 SGD 推导出非渐近收敛界？
• RQ3 如何放松 Łojasiewicz 不等式，以实现在非凸设置下的有限时间收敛？
• RQ4 分析长期行为与收敛速率所需的新颖 SDE 比较技术是什么？
• RQ5 在具有理论保证的前提下，连续时间结果在多大程度上可成功回传至离散 SGD 设置？

主要发现

• 本文在比以往更弱的假设下，为凸函数的 SGD 建立了非渐近收敛界。
• 证明了 SGD 迭代关系可在弱和强意义下被时间非时齐 SDE 近似，从而支持连续时间分析。
• 在放松的 Łojasiewicz 型条件下，作者推导出一类非凸函数的有限时间收敛性。
• 开发了新型 SDE 比较技术，具有独立的理论价值，并支持收敛性分析。
• 连续时间分析成功回传至离散设置，为原始 SGD 序列提供了可证明的收敛结果。
• 与先前工作相比，该框架在凸优化中可实现更紧致的收敛界，尤其在更宽松的假设下表现更优。