[論文レビュー] Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization

Yi Zhou, Yingbin Liang+1 more|arXiv (Cornell University)|Feb 19, 2018

Stochastic Gradient Optimization Techniques参考文献 42被引用数 15

ひとこと要約

本稿は、非凸最適化における確率的勾配降下法（SGD）の一般化誤差境界を、確率的勾配の平均的分散を分析することで、新たな一般化誤差境界を導出する。この境界は、データラベルの不正な混入が与える影響を捉えることができ、確率的保証のもとで得られ、最適化ダイナミクスとデータ分布の性質を統合することで、従来の安定性に基づく手法を改善する。

ABSTRACT

The success of deep learning has led to a rising interest in the generalization property of the stochastic gradient descent (SGD) method, and stability is one popular approach to study it. Existing works based on stability have studied nonconvex loss functions, but only considered the generalization error of the SGD in expectation. In this paper, we establish various generalization error bounds with probabilistic guarantee for the SGD. Specifically, for both general nonconvex loss functions and gradient dominant loss functions, we characterize the on-average stability of the iterates generated by SGD in terms of the on-average variance of the stochastic gradients. Such characterization leads to improved bounds for the generalization error for SGD. We then study the regularized risk minimization problem with strongly convex regularizers, and obtain improved generalization error bounds for proximal SGD. With strongly convex regularizers, we further establish the generalization error bounds for nonconvex loss functions under proximal SGD with high-probability guarantee, i.e., exponential concentration in probability.

研究の動機と目的

• 既存の安定性に基づく一般化境界が、SGDの性能に与えるランダムラベルの影響を捉えられていないという限界を解決すること。
• 最適化ダイナミクスとデータ分布特性を統合したSGDの一般化誤差境界を構築すること。
• 一般化誤差に確率的保証を提供し、期待値に基づく境界を上回る統計的頑健性を強化すること。
• 強い凸性を示す正則化子を用いた正則化リスク最小化への分析を拡張し、一般化性能の向上を示すこと。

提案手法

• 確率的勾配の平均的分散に基づくSGDの新規安定性解析を提案。最適化行動と一般化を結びつける。
• 確率的勾配の二乗ノルムの期待値に依存する一般化誤差境界を導出。従来の境界を改善。
• 反復ごとのテレスコピック補正を用い、集中不等式を適用して一般化誤差の確率的境界を確立。
• 強い凸正則化子下でのプロキシマルSGDを分析。確率的に指数的集中が達成され、一般化境界が著しく改善される。
• 損失関数の滑らかさとリプシッツ連続性の仮定を用いて、勾配更新と誤差伝播を制御。
• 進行状況と経験的リスクの期待的低下を制御するためのポテンシャル関数 Φ_S(w) を導入。

実験結果

リサーチクエスチョン

• RQ1 非凸設定におけるSGDの一般化誤差に、確率的勾配の平均的分散がどのように影響するか？
• RQ2 最適化ダイナミクスとデータ分布特性を統合することで、一般化境界を改善できるか？
• RQ3 なぜ既存の安定性に基づく境界は、一般化性能に与えるランダムラベルの影響を説明できないのか？
• RQ4 強い凸正則化子を追加することで、非凸SGDの一般化境界はどのように改善されるか？
• RQ5 期待値に基づく境界を上回る統計的に強い確率的一般化境界を導出できるか？

主な発見

• 提案された一般化誤差境界は、確率的勾配の平均的分散に依存し、従来手法よりもタイトで解釈性の高い境界を提供する。
• 境界は、ランダムラベルの割合が増えると勾配分散が増加し、一般化誤差が上昇する実験的観察をうまく説明できる。
• 強い凸正則化子を用いたプロキシマルSGDでは、一般化誤差境界が確率的に指数的集中を示し、非正則化ケースに比べて顕著に改善される。
• 境界は確率的保証のもとで成立し、期待値に基づく境界よりも統計的信頼性が高まる。
• 勾配優位性の下では、SGDの高速収束が一般化境界の改善をもたらし、最適化速度と一般化の間の相乗効果を示す。