[論文レビュー] The Benefits of Implicit Regularization from SGD in Least Squares Problems

Difan Zou, Jingfeng Wu+4 more|arXiv (Cornell University)|Dec 6, 2021

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

この論文は、正則化を明示的に導入しない状況においても、確率的勾配降下法（SGD）が最小二乗問題において、リッジ回帰と同等またはそれ以上の汎化性能を示す、暗黙の正則化を提供することを示している。高次元問題の広いクラスにおいて、調整された定数ステップサイズを用いたSGDは、リッジ回帰と同等またはそれ以上の汎化性能を達成でき、一部の状況ではサンプル数を対数的に減らせるし、他の状況では最大で2乗的に減らせる。

ABSTRACT

Stochastic gradient descent (SGD) exhibits strong algorithmic regularization effects in practice, which has been hypothesized to play an important role in the generalization of modern machine learning approaches. In this work, we seek to understand these issues in the simpler setting of linear regression (including both underparameterized and overparameterized regimes), where our goal is to make sharp instance-based comparisons of the implicit regularization afforded by (unregularized) average SGD with the explicit regularization of ridge regression. For a broad class of least squares problem instances (that are natural in high-dimensional settings), we show: (1) for every problem instance and for every ridge parameter, (unregularized) SGD, when provided with logarithmically more samples than that provided to the ridge algorithm, generalizes no worse than the ridge solution (provided SGD uses a tuned constant stepsize); (2) conversely, there exist instances (in this wide problem class) where optimally-tuned ridge regression requires quadratically more samples than SGD in order to have the same generalization performance. Taken together, our results show that, up to the logarithmic factors, the generalization performance of SGD is always no worse than that of ridge regression in a wide range of overparameterized problems, and, in fact, could be much better for some problem instances. More generally, our results show how algorithmic regularization has important consequences even in simpler (overparameterized) convex settings.

研究の動機と目的

• 線形回帰におけるSGDの暗黙の正則化効果を理解すること、特に高次元で過パラメータ化された設定において。
• 同じ問題インスタンスに対して、正則化なしのSGDと明示的に正則化されたリッジ回帰の汎化性能を比較すること。
• SGDのアルゴリズム的正則化が、リッジ回帰の明示的正則化を実際に上回る条件を同定すること。
• サンプル効率と汎化性能の観点から、SGDとリッジ回帰の間で、インスタンスに特化した鋭い比較を確立すること。

提案手法

• 著者たちは、過パラメータ化およびアンダーパラメータ化の両方の線形回帰設定において、調整された定数ステップサイズを用いた正則化なしの平均SGDを分析している。
• 特に高次元データに関連する問題インスタンスに特化して、SGDの汎化誤差とリッジ回帰の汎化誤差を広いクラスにわたり比較している。
• 分析は、確率的行列理論と集中不等式の道具を用いて、SGDとリッジ回帰の汎化誤差の境界を導出することに依存している。
• 比較はインスタンスに特化しており、各手法の性能がサンプル数と問題の内在次元数に対してどのようにスケーリングするかに焦点を当てる。
• 著者たちは、すべての問題インスタンスとリッジパラメータに対して、SGDが対数的に多くのサンプルを提供された場合、リッジ回帰の性能を下回らないことを示している。
• さらに、SGDが同じ汎化誤差を達成するためにリッジ回帰よりも2乗的に多くのサンプルを必要としない問題インスタンスが存在することを示している。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された最小二乗問題において、正則化なしのSGDの汎化性能は、リッジ回帰と比べてどうなるか？
• RQ2 SGDの暗黙の正則化は、サンプル効率の観点から、明示的なリッジ正則化によって定量的に再現されたり、それを上回ることができるか？
• RQ3 最適にチューニングされたリッジ回帰でさえも、SGDが顕著に優れるような問題インスタンスは存在するか？
• RQ4 さまざまな問題インスタンスにおいて、SGDの汎化誤差がサンプル数に対してリッジ回帰と比べてどのように依存するか？

主な発見

• すべての問題インスタンスとリッジパラメータに対して、調整された定数ステップサイズを用いた正則化なしのSGDは、対数的に多くのサンプルが与えられた場合、リッジ回帰の性能を下回らない。
• 検討されたクラスに属する問題インスタンスのうち、最適にチューニングされたリッジ回帰が同じ汎化性能を達成するためにSGDよりも2乗的に多くのサンプルを必要とするものがある。
• SGDの暗黙の正則化は、サンプル複雑度において対数要因を除き、常にリッジ回帰以上に効果的である。
• SGDがリッジ回帰を上回るという優位性は一様ではなく、問題インスタンスの構造に依存しており、一部のインスタンスではSGDが著しく優位である。
• 結果は、線形回帰のような単純な凸設定においても、SGDからのアルゴリズム的正則化が強く、証明可能な利点を有することを示している。
• これらの発見は、高次元で過パラメータ化された状況において、SGDによる暗黙の正則化が、明示的なリッジペナルティよりもサンプル効率に優れている可能性を強調している。