[論文レビュー] Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent

Yunwen Lei, Yiming Ying|arXiv (Cornell University)|Jun 15, 2020

Stochastic Gradient Optimization Techniques被引用数 29

ひとこと要約

本稿は、勾配の有界性や強い滑らかさといった制限的な仮定を排除することで、確率的勾配降下法（SGD）の微細な安定性および一般化解析を提示する。平均的モデル安定性を導入し、低ノイズ設定下で$O(1/n)$の高速一般化境界を導出し、Hinge損失のような非滑らか損失関数に対しても、計算と安定性のバランスを取ることで最適境界を確立する。

ABSTRACT

Recently there are a considerable amount of work devoted to the study of the algorithmic stability and generalization for stochastic gradient descent (SGD). However, the existing stability analysis requires to impose restrictive assumptions on the boundedness of gradients, strong smoothness and convexity of loss functions. In this paper, we provide a fine-grained analysis of stability and generalization for SGD by substantially relaxing these assumptions. Firstly, we establish stability and generalization for SGD by removing the existing bounded gradient assumptions. The key idea is the introduction of a new stability measure called on-average model stability, for which we develop novel bounds controlled by the risks of SGD iterates. This yields generalization bounds depending on the behavior of the best model, and leads to the first-ever-known fast bounds in the low-noise setting using stability approach. Secondly, the smoothness assumption is relaxed by considering loss functions with Holder continuous (sub)gradients for which we show that optimal bounds are still achieved by balancing computation and stability. To our best knowledge, this gives the first-ever-known stability and generalization bounds for SGD with even non-differentiable loss functions. Finally, we study learning problems with (strongly) convex objectives but non-convex loss functions.

研究の動機と目的

• 既存のSGD一般化解析が、勾配の有界性や強い滑らかさといった制限的な仮定に依存しているという限界を克服すること。
• 最良のモデルのリスクに注目することで、SGDの一般化行動をよりよく捉える新しい安定性指標「平均的モデル安定性」を考案すること。
• 損失関数の滑らかさ仮定をHölder連続（部分）勾配へ緩和することで、Hinge損失などの非滑らか損失関数に対しても一般化境界を拡張すること。
• 個々の損失関数が非凸であるが、全体の目的関数が（強く）凸であるようなSGDの安定性を解析すること。この場合、標準的な安定性議論は成立しない。
• 計算の努力（反復回数）とアルゴリズム的安定性のバランスを取ることで、より弱い正則性条件のもとでも最適一般化境界を確立すること。

提案手法

• 平均的モデル安定性という、一様リプシッツ定数に依存せず、経験的リスクに重みを置く新しい安定性指標を導入する。
• 損失関数の滑らかさを用いて、平均的モデル安定性を最良のモデルのリスクに関連づけ、よりタイトな一般化境界を可能にする。
• 最適化誤差解析の道具を用いて、経験的リスクの重み付き和を抑え、最適化の進行が一般化を改善することを示す。
• 強い滑らかさの代わりに（部分）勾配のHölder連続性に依存することで、Hinge損失のような非滑らか損失関数の解析を可能にする。
• 目的関数の凸性のみを仮定する新しい2次不等式を構築し、勾配更新における非拡大性の要件を回避する。
• 1エポックごとの更新をモデル化し、置換なしSGDの安定性に一般化するため、置換の均等サンプリングを用いて誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 勾配の有界性を仮定せずに、SGDの一般化境界を導出できるか？
• RQ2 滑らかさ仮定を弱くした場合、Hinge損失のような非滑らか損失関数に対しても最適一般化境界を達成できるか？
• RQ3 個々の損失関数が非凸であるが、全体の目的関数が（強く）凸である場合、SGDにおけるアルゴリズム的安定性はどのように振る舞うか？
• RQ4 安定性に基づく解析を用いて、低ノイズ設定下で$O(1/n)$の高速一般化レートを達成できるか？
• RQ5 タイトな一般化境界を達成するための、計算（反復回数）と安定性の最適トレードオフは何か？

主な発見

• 本稿は、安定性に基づくアプローチを用いて、低ノイズ設定下でSGDに対して初めて知られる$O(1/n)$の高速一般化境界を確立する。
• 平均的モデル安定性により、勾配の均一なバウンディングに依存せず、最良のモデルのリスクに依存する一般化境界が可能になる。
• （部分）勾配がHölder連続である損失関数に対しては、Hinge損失のような非滑らか損失関数であっても、$O(n^2)$回の反復を実行することで最適一般化境界が達成される。
• 従来、勾配の有界性仮定が排除されていたため、最小二乗回帰のような標準的問題が対象外となっていたが、本分析ではその必要がなくなる。
• 目的関数の凸性のみに依存する新しい2次不等式を用いることで、非凸個々の損失関数を持つ（強く）凸目的関数に対しても、安定性解析が有効である。
• 置換なしSGDでは、期待安定性がステップサイズの累乗和と平均ステップサイズに比例する項によってバウンディングされ、変更されたデータポイントの影響が明示的に制御可能である。