[論文レビュー] Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study

Assaf Dauber, Meir Feder+2 more|arXiv (Cornell University)|Mar 13, 2020

Machine Learning and Algorithms参考文献 30被引用数 7

ひとこと要約

本稿は、確率的凸最適化における一般化を説明するのには、implicit bias（暗黙の正則化）が有効かどうかを検討している。特にSGDに焦点を当て、一般化を一貫して説明できるような、分布に依存しない、あるいは広範な分布に依存する正則化（強い凸性やノルムに基づく正則化を含む）が存在しない反例を構築している。これにより、過パラメータ化学習における一般化メカニズムとしてのimplicit biasの普遍性に疑問を呈している。

ABSTRACT

The notion of implicit bias, or implicit regularization, has been suggested as a means to explain the surprising generalization ability of modern-days overparameterized learning algorithms. This notion refers to the tendency of the optimization algorithm towards a certain structured solution that often generalizes well. Recently, several papers have studied implicit regularization and were able to identify this phenomenon in various scenarios. We revisit this paradigm in arguably the simplest non-trivial setup, and study the implicit bias of Stochastic Gradient Descent (SGD) in the context of Stochastic Convex Optimization. As a first step, we provide a simple construction that rules out the existence of a \emph{distribution-independent} implicit regularizer that governs the generalization ability of SGD. We then demonstrate a learning problem that rules out a very general class of \emph{distribution-dependent} implicit regularizers from explaining generalization, which includes strongly convex regularizers as well as non-degenerate norm-based regularizations. Certain aspects of our constructions point out to significant difficulties in providing a comprehensive explanation of an algorithm's generalization performance by solely arguing about its implicit regularization properties.

研究の動機と目的

• 過パラメータ化モデルにおける一般化を、暗黙の正則化が普遍的に説明できるかどうかを検討すること。特に、確率的凸最適化（SCO）におけるその可能性を検討する。
• SGDの挙動を支配する分布に依存しない暗黙の正則化の存在を除外すること。
• 特に強い凸性やノルムに基づく正則化を含む、分布に依存する正則化が、SCOにおける一般化を説明できるかどうかを調査すること。
• 明示的な構成を通じて、一般化を暗黙の正則化のみで説明することに根本的な制限があることを暴露すること。
• 単純な凸設定ですら、SGDが一般的な正則化が好む解を避けてしまうことが示せること

提案手法

• SGDがユークリッドノルムで最も近い最小化点に収束しないような、単一の滑らかな凸関数の分布を構築し、分布に依存しない暗黙の正則化を除外する。
• 最小化点の平板な領域を持つ関数に対して、固定ステップサイズの勾配降下法を適用し、L2ノルムにおける最も近い解からの逸脱を示す。
• 集中不等式と反射原理を用いて、SGDが最適解の周囲の望ましい領域から脱出する確率を評価する。
• 訓練データに確率的摂動を加えることで、関連するサンプル $ S' $ を生成し、異なる条件下でのSGD挙動を比較可能にする。
• Hoeffdingの不等式と、Lemma 2 の修正版（正規分布の尾部確率の境界に関する）を用いて、パラメータの軌道が望ましい領域から逸脱する確率を制御する。
• 複数の誤差事象（$ E_1 $, $ E_2 $, $ E $）の境界を組み合わせ、SGDがよく正則化された解に収束しない確率の高確率上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 分布に依存しない暗黙の正則化は、確率的凸最適化におけるSGDの一般化性能を説明できるか？
• RQ2 強い凸性やノルムに基づく正則化は、SCOにおけるSGDの一般化挙動を説明できるか？
• RQ3 正則化がデータ分布に依存する場合でも、SGDの一般化を暗黙の正則化で説明することに根本的な制限があるか？
• RQ4 単純な凸設定ですら、SGDが一般的な正則化が好む解を避けてしまうことが示せるか？
• RQ5 このような失敗の影響は、過パラメータ化学習における暗黙の正則化の広範な理論にどのような意味を持つのか？

主な発見

• 本稿は、SGDがユークリッドノルムで最も近い最小化点に収束しないような、単一の滑らかな凸関数の分布を構築し、分布に依存しない暗黙の正則化の存在を除外した。
• 固定ステップサイズの勾配降下法ですら、L2ノルムで最も近い最小化点に収束しないことがあることが示され、SGDにL2正則化が暗黙のバイアスであるという仮説に疑問を呈する。
• 本稿は、すべての強い凸性および非退化したノルムに基づく正則化を含む、広範な分布に依存する正則化のクラスを、次元とサンプルサイズが同等の領域における一般化の説明から除外した。
• 確率的境界を通じて、SGDが最適解の周囲の望ましい領域から脱出する確率は、$ rac{eta c}{32} $ に指数的に減少することが示され、ここで $ c = heta( ext{ステップサイズ} imes ext{sqrt}(T)) $ である。これは、特定の条件下で高確率で失敗が生じることを示唆する。
• 解析により、SGDの一般化性能は、特に正則化がデータ分布に依存する場合、暗黙の正則化だけでは完全に説明できないことが明らかになった。
• 結果として、暗黙のバイアスだけでは、現代の学習アルゴリズムにおける一般化を十分に説明できない可能性があり、代替の理論的枠組みの必要性が浮き彫りになった。