[論文レビュー] SGD Generalizes Better Than GD (And Regularization Doesn't Help)

Idan Amir, Tomer Koren+1 more|arXiv (Cornell University)|Jul 7, 2021

Stochastic Gradient Optimization Techniques被引用数 2

ひとこと要約

この論文は、確率的凸最適化における確率的勾配降下法（SGD）とフルバッチ勾配降下法（GD）の間の根本的な一般化ギャップを示している。SGDは $\epsilon$ の超過リスクを $O(1/\epsilon^2)$ ステップで達成するが、正則化があってもGDはSGDの一般化性能に並ぶために $\Omega(1/\epsilon^4)$ ステップを要する。これはSGDの内蔵されたバイアスが一般化の鍵であることを示している。

ABSTRACT

We give a new separation result between the generalization performance of stochastic gradient descent (SGD) and of full-batch gradient descent (GD) in the fundamental stochastic convex optimization model. While for SGD it is well-known that $O(1/\epsilon^2)$ iterations suffice for obtaining a solution with $\epsilon$ excess expected risk, we show that with the same number of steps GD may overfit and emit a solution with $\Omega(1)$ generalization error. Moreover, we show that in fact $\Omega(1/\epsilon^4)$ iterations are necessary for GD to match the generalization performance of SGD, which is also tight due to recent work by Bassily et al. (2020). We further discuss how regularizing the empirical risk minimized by GD essentially does not change the above result, and revisit the concepts of stability, implicit bias and the role of the learning algorithm in generalization.

研究の動機と目的

• 確率的凸最適化におけるSGDとGDの間の一般化性能の理論的分離を確立すること。
• 正則化がGDのSGDに対する劣悪な一般化を緩和できるかどうかを分析すること。
• 一般化におけるアルゴリズム的安定性と内蔵バイアスの役割、特にGDとSGDの文脈での役割を調査すること。
• GDが経験的リスクを最小化しても過学習する理由を明確にすること、特に正則化がある場合でも。

提案手法

• 独立同一分布（i.i.d.）データを前提とした確率的凸最適化モデルにおいて、GDとSGDの一般化誤差を分析する。
• 損失関数の最悪ケース構成を用いて、GDが $O(1/\epsilon^2)$ ステップ後に定数の一般化誤差を示す過学習を示す。
• GDが $\epsilon$ の超過リスクを達成するための下界として $\Omega(1/\epsilon^4)$ ステップを確立し、既知の上界と一致することを示す。
• GDにおける正則化付き経験的リスク最小化を検討し、正則化が一般化ギャップを縮小しないことを示す。
• Bassilyら（2020年）の最近の結果を活用して、$\Omega(1/\epsilon^4)$ の下界のタイトネスを確立する。
• アルゴリズム的安定性と内蔵バイアスの概念を再考し、SGDがGDよりも一般化性能が優れている理由を説明する。

実験結果

リサーチクエスチョン

• RQ1 確率的凸最適化において、GDは同じ数の反復回数でSGDと同等の一般化性能を達成できるか？
• RQ2 GDがSGDの一般化誤差 $\epsilon$ を達成するために必要な最小反復回数は何か？
• RQ3 経験的リスクの正則化は、GDとSGDの間の一般化ギャップを最小化するか？
• RQ4 アルゴリズム的安定性と内蔵バイアスは、GDとSGDの一般化性能にどのように影響するか？
• RQ5 GDは経験的リスクを最小化しているにもかかわらずなぜ過学習するのか？一方SGDはなぜうまく一般化するのか？

主な発見

• SGDは $O(1/\epsilon^2)$ ステップで $\epsilon$ の超過期待リスクを達成し、既知の収束レートと一致する。
• 同じ反復回数（$O(1/\epsilon^2)$）でGDは $\Omega(1)$ の一般化誤差を示し、過学習を示している。
• GDが $\epsilon$ の超過リスクを達成するには $\Omega(1/\epsilon^4)$ ステップが必要であり、最近の上界と一致するためタイトである。
• 経験的リスクの正則化はGDの一般化性能を向上させず、SGDとのギャップを埋めない。
• 一般化ギャップは最適化ダイナミクスや安定性の単なる結果ではなく、SGDの内蔵バイアスに起因する。
• 結果は、明示的な正則化とは独立して、アルゴリズムの選択（特にSGD対GD）が一般化に極めて重要な役割を果たすことを強調している。