[論文レビュー] Stability of SGD: Tightness Analysis and Improved Bounds

Yikai Zhang, Wenjia Zhang+4 more|arXiv (Cornell University)|Feb 10, 2021

Stochastic Gradient Optimization Techniques参考文献 36被引用数 4

ひとこと要約

本稿は、確率的勾配降下法（SGD）におけるアルゴリズム的安定性について、タイトな解析を提供している。凸および強く凸な損失関数に対しては、既存の境界がタイトであることが示され、非凸な設定ではそれらを改善可能である。非凸な状況では、よりタイトな境界が得られ、凸正則化損失関数に対し、新たなデータ依存の安定性境界が導出されている。本稿は、現実的なデータ分布下での深層学習モデルの一般化保証を著しく向上させている。

ABSTRACT

Stochastic Gradient Descent (SGD) based methods have been widely used for training large-scale machine learning models that also generalize well in practice. Several explanations have been offered for this generalization performance, a prominent one being algorithmic stability [18]. However, there are no known examples of smooth loss functions for which the analysis can be shown to be tight. Furthermore, apart from the properties of the loss function, data distribution has also been shown to be an important factor in generalization performance. This raises the question: is the stability analysis of [18] tight for smooth functions, and if not, for what kind of loss functions and data distributions can the stability analysis be improved? In this paper we first settle open questions regarding tightness of bounds in the data-independent setting: we show that for general datasets, the existing analysis for convex and strongly-convex loss functions is tight, but it can be improved for non-convex loss functions. Next, we give a novel and improved data-dependent bounds: we show stability upper bounds for a large class of convex regularized loss functions, with negligible regularization parameters, and improve existing data-dependent bounds in the non-convex setting. We hope that our results will initiate further efforts to better understand the data-dependent setting under non-convex loss functions, leading to an improved understanding of the generalization abilities of deep networks.

研究の動機と目的

• SGDに対する既存のアルゴリズム的安定性境界が、滑らかで凸および強く凸な損失関数に対してタイトであるかどうかを検証すること。
• データ依存の安定性境界が、現在のデータ独立の解析を上回って改善可能かどうかを調査すること。
• 現実的なデータ分布下で、非凸および正則化損失関数に対して、よりタイトで実用的な安定性境界を導出すること。
• 改善された安定性解析を通じて、深層ニューラルネットワークの一般化性能に関する理論的洞察を提供すること。

提案手法

• 同一のデータセットをもつ2組のモデルのパラメータ軌道の乖離に基づく、新たなデータ依存の安定性解析フレームワークを提案する。
• 反復間隔の幾何級数的進行を用いた再帰的バウンディング技術を導入し、SGDにおける誤差伝搬を制御する。
• 1つのサンプルの差異を持つ2つのデータセットで訓練されたモデル間のパラメータ差分Δtの期待ノルムを精密に分析する。
• 損失関数の滑らかさ、リプシッツ連続性、およびヘッセ行列のリプシッツ連続性を用いて、安定性のよりタイトな境界を導出する。
• 収束性と安定性のトレードオフを分析するため、ステップサイズ規則αt = b/tおよびαt = a/(βt)を用いる。
• データ依存定数ζを組み込んだ、Tおよびnにおける対数的およびべき乗則的項を含む、平均安定性εstabの上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 凸および強く凸な損失関数に対して、既存のデータ独立の安定性境界はタイトか？
• RQ2 非凸な損失関数に対して安定性境界を改善可能か？ もしそうなら、どのような条件下で可能か？
• RQ3 データ分布や正則化といったデータ依存要因は、SGDの安定性にどのように影響するか？
• RQ4 正則化付き凸および非凸損失関数に対して、よりタイトで非漸近的な境界を導出可能か？

主な発見

• 凸および強く凸な損失関数に対しては、[18]で提示された既存の安定性境界がタイトであることが示され、下界Ω(1/n)およびΩ(T/n)と一致する。
• 定数ステップサイズαt = a/βを用いた非凸損失関数に対しては、Ω(T^a / n^{1+a})の下界が確立され、追加の仮定なしでは既存の境界を改善できないことが示された。
• ステップサイズαt = b/tを用いた非凸損失関数に対して、O(T^{ζb} / n^{1+ζb})の改善されたデータ依存上界が導出され、従来の結果よりもタイトである。
• 正則化が微小な凸正則化損失関数に対しては、O(1/n)の安定性境界が得られ、定数ステップサイズ下で[18]のT依存境界を上回る。
• 解析により、データ構造を捉えるデータ依存定数ζが、非凸設定下での一般化ギャップを顕著に低減することが明らかになった。
• 理論的結果は、再帰的バウンディング技術およびパラメータ乖離の確率的解析により裏付けられており、対数的および指数的項を用いて明示的な定数が導出されている。