[論文レビュー] The Implicit Bias of Gradient Descent on Separable Data

Daniel Soudry, Elad Hoffer+3 more|arXiv (Cornell University)|Oct 27, 2017

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

この論文は、線形分離可能なデータに対する正則化なしのロジスティック回帰における勾配降下法が、明示的な正則化がなくても、最大マージン（L2）解へ暗黙的に収束することを示している。収束は遅く、O(1/log t) のスケーリングを示し、これが訓練誤差がほぼゼロに達した後も一般化性能が向上し続ける理由を説明する。

ABSTRACT

We examine gradient descent on unregularized logistic regression problems, with homogeneous linear predictors on linearly separable datasets. We show the predictor converges to the direction of the max-margin (hard margin SVM) solution. The result also generalizes to other monotone decreasing loss functions with an infimum at infinity, to multi-class problems, and to training a weight layer in a deep network in a certain restricted setting. Furthermore, we show this convergence is very slow, and only logarithmic in the convergence of the loss itself. This can help explain the benefit of continuing to optimize the logistic or cross-entropy loss even after the training error is zero and the training loss is extremely small, and, as we show, even if the validation loss increases. Our methodology can also aid in understanding implicit regularization n more complex models and with other optimization methods.

研究の動機と目的

• 線形分離可能なデータセットにおける正則化なしのロジスティック回帰における勾配降下法の暗黙的バイアスを理解すること。
• 明示的な正則化が存在しないにもかかわらず、勾配降下法が最大マージン解へ収束するかどうかを特定すること。
• 正規化された重みベクトルが最大マージン方向へ収束する速度を特徴づけること。
• 滑らかで単調減少、下界のある損失関数に指数的尾部を持つものおよび多クラス設定への分析を拡張すること。
• 深層学習における一般化性能および最適化ダイナミクスの役割に及ぼす影響を調査すること。

提案手法

• 線形分離可能なデータに対して、同次線形予測子を用いた正則化なしのロジスティック回帰における勾配降下法を分析する。
• 正規化された重みベクトル w(t)/||w(t)|| が L2 最大マージン分離器（ハードマージン SVM 解）へ収束することを証明する。
• 漸近的解析と微分方程式近似を用いて、正規化された方向のダイナミクスを研究する。
• 最大マージン解への距離の減少を制限することで収束速度を確立する。
• 滑らかで単調減少、下界のある損失関数に指数的尾部を持つものおよび多クラス問題へ結果を拡張する。
• 深層ネットワークの単一重み層の学習における制限付き設定を検討する。

実験結果

リサーチクエスチョン

• RQ1 正則化なしのロジスティック回帰を線形分離可能なデータで最適化する勾配降下法は、最大マージン解へ収束するか？
• RQ2 正規化された重みベクトルが最大マージン方向へ収束する速度は何か？
• RQ3 勾配降下法の暗黙的バイアスは、ADAM などの他の最適化手法と比べてどのように異なるか？
• RQ4 この暗黙的バイアスはロジスティック損失以外の損失関数へ一般化可能か？
• RQ5 なぜ訓練誤差がほぼゼロに達した後も一般化性能が向上し続けるのか？

主な発見

• 正則化なしのロジスティック回帰を線形分離可能なデータで最適化する勾配降下法は、ハードマージン SVM に等しい L2 最大マージン解へ収束する。
• 正規化された重みベクトルが最大マージン方向へ収束する速度は O(1/log t) であり、極めて遅い。
• 一部の退化したデータセットでは、収束速度がさらに遅くなり、O(log log t / log t) に低下する。
• この暗黙的バイアスは勾配降下法に特有であり、ADAM のような適応的最適化手法では同様の挙動を示さない。
• この遅い収束が、訓練誤差がほぼゼロに達した後も一般化性能が向上し続ける理由を説明する。
• 結果は、滑らかで単調減少、下界のある損失関数に指数的尾部を持つものおよび多クラス設定へ一般化可能である。