[論文レビュー] Label Noise SGD Provably Prefers Flat Global Minimizers

Alex Damian, Tengyu Ma+1 more|arXiv (Cornell University)|Jun 11, 2021

Machine Learning and Data Classification参考文献 25被引用数 7

ひとこと要約

この論文は、ラベルノイズを用いた確率的勾配降下法（SGD）が、鋭い最小値をペナルティとする正則化項 $R(\theta)$ を持つ正則化損失 $L(\theta) + \lambda R(\theta)$ の停留点に収束することを証明している。正則化強度 $\lambda$ は学習率、ミニバッチサイズ、ノイズ分散に依存し、ラベルノイズが平坦なグローバル最小値を favour することにより、過パラメータ化されたモデルにおける一般化性能の向上を示している。

ABSTRACT

In overparametrized models, the noise in stochastic gradient descent (SGD) implicitly regularizes the optimization trajectory and determines which local minimum SGD converges to. Motivated by empirical studies that demonstrate that training with noisy labels improves generalization, we study the implicit regularization effect of SGD with label noise. We show that SGD with label noise converges to a stationary point of a regularized loss $L(θ) +λR(θ)$, where $L(θ)$ is the training loss, $λ$ is an effective regularization parameter depending on the step size, strength of the label noise, and the batch size, and $R(θ)$ is an explicit regularizer that penalizes sharp minimizers. Our analysis uncovers an additional regularization effect of large learning rates beyond the linear scaling rule that penalizes large eigenvalues of the Hessian more than small ones. We also prove extensions to classification with general loss functions, SGD with momentum, and SGD with general noise covariance, significantly strengthening the prior work of Blanc et al. to global convergence and large learning rates and of HaoChen et al. to general models.

研究の動機と目的

• 過パラメータ化されたモデルにおける SGD のラベルノイズの暗黙的正則化効果を理解すること。
• ラベルノイズが最適化を平坦なグローバル最小値に導く仕組みを特定すること。
• 従来の局所的安定性解析をグローバル収束および一般損失関数やモーメンタムを含む広範な設定に拡張すること。
• 学習率とミニバッチサイズが損失と正則化のバランスを制御する役割を明確化すること。

提案手法

• ラベルノイズ付き SGD を、正則化損失 $L(\theta) + \lambda R(\theta)$ 上の摂動付き勾配降下法として形式化し、$R(\theta)$ が鋭い最小値をペナルティとするものとする。
• 損失関数のヘッセ行列とノイズ共分散に基づいて、正則化項 $R(\theta)$ の明示的表現を導出する。
• SGD 動的の線形化解析を用いて、正則化目的関数の停留点への収束を示す。
• 学習率を大きくし、ミニバッチサイズを小さくすることで、ヘッセ固有値が大きい領域のペナルティが強化され、正則化効果が増大することを示す。
• 分類問題における一般損失関数、モーメンタム付き SGD、一般ノイズ共分散行列に対しても結果を拡張する。
• 行列摂動理論と再帰関係を用いて誤差項の成長を抑え、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズを用いた SGD は、過パラメータ化されたモデルにおいて、平坦な最小値へのグローバル収束をもたらすか？
• RQ2 学習率とミニバッチサイズは、ラベルノイズによって誘発される暗黙的正則化にどのように影響するか？
• RQ3 ラベルノイズ SGD の暗黙のバイアスは、正則化損失 $L(\theta) + \lambda R(\theta)$ の停留点への収束として形式化できるか？
• RQ4 鋭い最小値をペナルティとする正則化項 $R(\theta)$ の明示的形は何か？
• RQ5 モーメンタムと一般ノイズ共分散行列は、ラベルノイズ SGD の暗黙的正則化にどのように影響するか？

主な発見

• ラベルノイズ付き SGD は、$R(\theta)$ が鋭い最小値をペナルティとする正則化損失 $L(\theta) + \lambda R(\theta)$ の停留点に収束する。
• 有効な正則化パラメータ $\lambda$ は、学習率 $\eta$、ノイズ分散 $\sigma^2$、ミニバッチサイズの逆数 $1/B$ の積に比例し、$\lambda \propto \eta \sigma^2 / B$ となる。
• 学習率を大きくし、ミニバッチサイズを小さくすることで正則化効果が増大し、平坦な最小値が favour される。
• 本手法は、悪い局所的最小値を明示的に回避し、ゼロ誤差のグローバル最小値から初期化された場合でもグローバルに収束することを保証する。
• 解析は、分類問題における一般損失関数、モーメンタム付き SGD、任意のノイズ共分散行列にまで拡張可能である。
• 正則化項 $R(\theta)$ は損失関数のヘッセ行列と明示的に関連づけられ、固有値が大きい領域ほど高いペナルティが課される。