[论文解读] Last iterate convergence of SGD for Least-Squares in the Interpolation regime

Aditya Varre, Loucas Pillaud‐Vivien+1 more|arXiv (Cornell University)|Feb 5, 2021

Stochastic Gradient Optimization Techniques参考文献 25被引用 6

一句话总结

该论文首次为常步长随机梯度下降（SGD）在插值情形下的最小二乘问题中，建立了最后一个迭代点的显式收敛速率。在温和假设下，证明了$O(\ln T / T)$和改进的$O(1/T)$收敛速率；在非参数源条件与容量条件下，进一步获得了$O(1/T^{1+\alpha})$的快速收敛速率。该研究采用了一种新颖的直接李雅普诺夫分析方法，避免了对梯度进行平均或衰减步长。

ABSTRACT

Motivated by the recent successes of neural networks that have the ability to fit the data perfectly and generalize well, we study the noiseless model in the fundamental least-squares setup. We assume that an optimum predictor fits perfectly inputs and outputs $\langle θ_* , ϕ(X) angle = Y$, where $ϕ(X)$ stands for a possibly infinite dimensional non-linear feature map. To solve this problem, we consider the estimator given by the last iterate of stochastic gradient descent (SGD) with constant step-size. In this context, our contribution is two fold: (i) from a (stochastic) optimization perspective, we exhibit an archetypal problem where we can show explicitly the convergence of SGD final iterate for a non-strongly convex problem with constant step-size whereas usual results use some form of average and (ii) from a statistical perspective, we give explicit non-asymptotic convergence rates in the over-parameterized setting and leverage a fine-grained parameterization of the problem to exhibit polynomial rates that can be faster than $O(1/T)$. The link with reproducing kernel Hilbert spaces is established.

研究动机与目标

• 解决长期存在的难题：在非强凸、插值设定下，证明常步长SGD最后一个迭代点的收敛性，无需使用平均化或步长衰减。
• 在过参数化、无噪声的最小二乘设定中，建立非渐近、显式的收敛速率。
• 提出一种直接的李雅普诺夫技术，可在不依赖方差减少、不使用平均化或步长衰减的情况下，处理随机梯度的波动。
• 将分析与再生核希尔伯特空间联系起来，并在源条件与容量条件下推导出精细的收敛速率。

提出的方法

• 提出一种直接的李雅普诺夫函数方法，用于分析常步长SGD最后一个迭代点的行为，避免使用标准的平均化技术。
• 推导出协方差算子特征空间上的递推关系，这是收敛性分析的核心。
• 引入一种新颖的求和不等式，涉及$\mathsf{S}_T(\alpha,\beta) = \sum_{t=1}^{T-1} \frac{1}{t^{1+\alpha}(T-t)^{1+\beta}}$，以控制历史迭代点的影响。
• 应用赫尔德不等式并精细调节参数，以界定期望函数值误差。
• 通过选择合适的步长和正则化参数，使递推不等式稳定误差序列，从而实现收敛。
• 利用协方差算子谱的非参数源条件与容量条件，以及真实参数$\theta_*$的性质，推导出快速收敛速率。

实验结果

研究问题

• RQ1 在非强凸、插值设定下，常步长SGD的最后一个迭代点是否能在不使用平均化或步长衰减的情况下实现收敛？
• RQ2 在无噪声最小二乘问题中，SGD最后一个迭代点的显式非渐近收敛速率是什么？
• RQ3 在过参数化情形下，核函数与真实参数的源条件与容量条件如何影响收敛速度？
• RQ4 直接李雅普诺夫方法是否能有效处理最后一个迭代点的随机波动，而无需方差减少？
• RQ5 特征空间上的递推关系与SGD在插值情形下的收敛行为之间存在何种联系？

主要发现

• 在最小假设下，常步长SGD最后一个迭代点实现了$O(\ln T / T)$的收敛速率。
• 在稍强的假设下，收敛速率提升至$O(1/T)$。
• 在非参数源条件与容量条件下，论文建立了$O(1/T^{1+\alpha})$的快速收敛速率（$\alpha > 0$）。
• 该分析提出了一种新颖的直接李雅普诺夫技术，成功控制了最后一个迭代点的随机波动，而无需平均化或步长衰减。
• 推导出协方差算子特征空间上的递推关系，这是收敛性证明的核心，未来可能对SGD的分析具有重要价值。
• 研究结果建立在非参数、无限维的设定下，并与再生核希尔伯特空间建立了明确联系。