[論文レビュー] The Implicit Regularization of Stochastic Gradient Flow for Least Squares

Alnur Ali, Edgar Dobriban+1 more|arXiv (Cornell University)|Mar 17, 2020

Stochastic Gradient Optimization Techniques参考文献 90被引用数 19

ひとこと要約

この論文は、最小バッチの確率的勾配流れ（SGF）と最小二乗問題におけるリッジ回帰の間のきめ細かい理論的関係を確立する。連続時間の確率微分方程式モデルを用いて、時間 $ t $ における SGF の過剰リスクが、$ \lambda = 1/t $ のリッジ回帰の過剰リスク以上に抑えられることを証明し、ステップサイズ、ミニバッチサイズ、分散に明示的な依存関係を示す。これにより、SGF は最小限の計算コストでリッジ回帰に類似した暗黙の正則化を実現することが明らかになる。

ABSTRACT

We study the implicit regularization of mini-batch stochastic gradient descent, when applied to the fundamental problem of least squares regression. We leverage a continuous-time stochastic differential equation having the same moments as stochastic gradient descent, which we call stochastic gradient flow. We give a bound on the excess risk of stochastic gradient flow at time $t$, over ridge regression with tuning parameter $λ= 1/t$. The bound may be computed from explicit constants (e.g., the mini-batch size, step size, number of iterations), revealing precisely how these quantities drive the excess risk. Numerical examples show the bound can be small, indicating a tight relationship between the two estimators. We give a similar result relating the coefficients of stochastic gradient flow and ridge. These results hold under no conditions on the data matrix $X$, and across the entire optimization path (not just at convergence).

研究の動機と目的

• 最小二乗回帰におけるミニバッチ確率的勾配降下法（SGD）の暗黙の正則化効果を理解すること。
• 時間に依存する明確な関係を確立し、時間 $ t $ における確率的勾配流れ（SGF）のリスクと $ \lambda = 1/t $ のリッジ回帰のリスクの間の関係を明示すること。
• ステップサイズ、ミニバッチサイズ、時間といったアルゴリズムのハイパーパrameterが、SGF の過剰リスクがリッジ回帰に対してどのように影響を与えるかを定量化すること。
• SGF が収束時だけでなく、最適な停止時においても、リッジ回帰よりも著しく少ない計算時間でほぼ最適な統計的性能を達成できることを示すこと。
• データ行列 $ X $ にあらゆる仮定を置かずに、収束時だけでなく最適化経路全体にわたって有効な境界を提供すること。

提案手法

• ミニバッチ SGD の一階および二階モーメントを正確に再現する連続時間確率微分方程式である確率的勾配流れ（SGF）を用いて SGD をモデル化する。
• SGF の正確なリスク分解を導出し、$ \lambda = 1/t $ のリッジ回帰との過剰リスクを、リッジの分散、ミニバッチ化に起因する分散、および一定ステップサイズに起因するフラクチュエーション項の合計として示す。
• データ行列 $ X $ の固有値分解と特異値を用いて、SGF とリッジ回帰係数の差を評価する。
• 係数の距離を解析するための関数 $ f(x) = (1 - e^{-x})(1+x)/x $ を導入し、その単調性および有界性を活用して一様な境界を導出する。
• 行列不等式と集中不等式を用いて、係数の差が $ (g(t) - 1) \| \hat{\beta}^{\text{ridge}}(1/t) \|_2 $ で抑えられることを示す。ここで $ g(t) $ は時間に依存する要因である。
• ガウス分布、スルーディスト分布、ベルヌーイ分布のデータに対して、$ n, p, m $ および $ \epsilon $ を変化させた数値実験を通じて理論的境界の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 時間 $ t $ における確率的勾配流れの過剰リスクは、調整パramータ $ \lambda = 1/t $ のリッジ回帰のそれとどのように比較されるか？
• RQ2 過剰リスクがステップサイズ、ミニバッチサイズ、時間といったアルゴリズムのハイパーパrameterにどのように依存するか？
• RQ3 収束時だけでなく最適化経路全体にわたって、SGF の暗黙の正則化をきめ細かく境界づけ、定量的に評価できるか？
• RQ4 両者が最適に停止された場合、SGF とリッジ回帰のリスクおよび計算時間の性能はどのように比較されるか？
• RQ5 SGF と $ \lambda = 1/t $ のリッジ回帰の係数経路との関係は何か？この境界はどの程度きついのか？

主な発見

• 時間 $ t $ における確率的勾配流れの過剰リスクは、$ \lambda = 1/t $ のリッジ回帰のそれ以上に抑えられ、この境界はリッジの分散、確率的ばらつきの分散、およびフラクチュエーション項という3つの解釈可能な項に分解される。
• 境界は実際の応用でもきつい—数値例では過剰リスクが最適なリッジリスクのわずか 1.0032 倍に抑えられ、強い暗黙の正則化効果が示された。
• SGF と $ \lambda = 1/t $ のリッジ回帰との係数差は、$ (g(t) - 1) \| \hat{\beta}^{\text{ridge}}(1/t) \| $ で抑えられ、$ g(t) \leq 1.2985 $ であるため、すべての $ t $ において2つの推定器は近くに位置する。
• リスク境界におけるフラクチュエーション項は $ t \to \infty $ のとき消え、過パラメータ化された状態ではゼロとなり、最小二乗解への収束を反映している。
• 両者が最適な停止時においても、SGF はリッジ回帰よりも著しく少ない計算時間でほぼ最適なリスクを達成しており、計算と統計のトレードオフが有利であることが示された。
• 結果はデータ行列 $ X $ にあらゆる仮定を置かずに成立し、収束時だけでなく最適化経路全体にわたって有効である。