[论文解读] The Benefits of Implicit Regularization from SGD in Least Squares Problems

Difan Zou, Jingfeng Wu+4 more|arXiv (Cornell University)|Dec 6, 2021

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文表明，随机梯度下降（SGD）在最小二乘问题中提供了隐式正则化，其泛化性能可与岭回归相媲美甚至更优，即使未使用显式正则化。对于一大类高维问题，使用调优的常数步长的SGD在泛化性能上可与岭回归相媲美或更优，某些情况下所需样本数仅需对数级减少，其他情况下甚至可减少至平方级。

ABSTRACT

Stochastic gradient descent (SGD) exhibits strong algorithmic regularization effects in practice, which has been hypothesized to play an important role in the generalization of modern machine learning approaches. In this work, we seek to understand these issues in the simpler setting of linear regression (including both underparameterized and overparameterized regimes), where our goal is to make sharp instance-based comparisons of the implicit regularization afforded by (unregularized) average SGD with the explicit regularization of ridge regression. For a broad class of least squares problem instances (that are natural in high-dimensional settings), we show: (1) for every problem instance and for every ridge parameter, (unregularized) SGD, when provided with logarithmically more samples than that provided to the ridge algorithm, generalizes no worse than the ridge solution (provided SGD uses a tuned constant stepsize); (2) conversely, there exist instances (in this wide problem class) where optimally-tuned ridge regression requires quadratically more samples than SGD in order to have the same generalization performance. Taken together, our results show that, up to the logarithmic factors, the generalization performance of SGD is always no worse than that of ridge regression in a wide range of overparameterized problems, and, in fact, could be much better for some problem instances. More generally, our results show how algorithmic regularization has important consequences even in simpler (overparameterized) convex settings.

研究动机与目标

• 理解SGD在线性回归中的隐式正则化效应，特别是高维、过参数化设置下的表现。
• 比较未正则化的SGD与显式正则化的岭回归在相同问题实例上的泛化性能。
• 识别SGD的算法正则化在理论上优于岭回归的显式正则化的条件。
• 在样本效率与泛化性能方面，建立SGD与岭回归之间的精确、实例特定的比较。

提出的方法

• 作者分析了在欠参数化和过参数化线性回归设置下，使用调优常数步长的未正则化平均SGD。
• 他们在一大类最小二乘问题实例上，比较了SGD与岭回归的泛化误差，尤其关注高维数据相关的实例。
• 分析依赖于利用随机矩阵理论和集中不等式推导SGD与岭回归泛化误差的界。
• 比较是实例特定的，聚焦于每种方法性能随样本数量和问题内在维度的缩放关系。
• 作者证明，对于每一个问题实例和岭参数，SGD在样本数对数级多于岭回归时，其性能与岭回归相当。
• 他们进一步表明，存在某些问题实例，使得岭回归为达到相同泛化误差所需样本数比SGD多出平方级。

实验结果

研究问题

• RQ1 在过参数化的最小二乘问题中，未正则化的SGD与岭回归的泛化性能如何比较？
• RQ2 SGD的隐式正则化在样本效率方面能否被显式岭正则化定量匹配或超越？
• RQ3 是否存在某些问题实例，使得SGD在泛化性能上显著优于岭回归，即使岭回归已最优调参？
• RQ4 在不同问题实例中，SGD的泛化误差对样本数的依赖关系相对于岭回归如何？

主要发现

• 对于每一个问题实例和每个岭参数，当提供对数级更多样本时，使用调优常数步长的未正则化SGD的泛化性能不会劣于岭回归。
• 在所考虑的类别中，存在某些问题实例，使得最优调参的岭回归为达到相同泛化性能所需样本数比SGD多出平方级。
• SGD的隐式正则化在样本复杂度的对数因子范围内，其效果至少与岭回归相当。
• SGD相对于岭回归的优越性并非均匀存在，而是依赖于问题实例的结构，某些实例显著偏好SGD。
• 结果表明，即使在简单的凸设置（如线性回归）中，SGD的算法正则化也具有强大且可证明的优势。
• 研究结果强调，在高维、过参数化场景下，通过SGD实现的隐式正则化可能比显式的岭惩罚更具样本效率。