[論文レビュー] Toward Better Generalization Bounds with Locally Elastic Stability

Zhun Deng, Hangfeng He+1 more|arXiv (Cornell University)|Oct 27, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用数 12

ひとこと要約

この論文は、データ固有の感度パターンを捉えることで、特にニューラルネットワークやランダム特徴量のようなモデルにおけるクラス依存の損失変化を反映し、一様安定性よりもタイトな一般化バウンドをもたらす、局所的に弾性のある安定性を導入する。これは、特に最悪ケースの感度が平均ケースの挙動を過大評価する深層学習設定において、一様安定性に比べてより良い一般化バウンドを提供する。

ABSTRACT

Algorithmic stability is a key characteristic to ensure the generalization ability of a learning algorithm. Among different notions of stability, \emph{uniform stability} is arguably the most popular one, which yields exponential generalization bounds. However, uniform stability only considers the worst-case loss change (or so-called sensitivity) by removing a single data point, which is distribution-independent and therefore undesirable. There are many cases that the worst-case sensitivity of the loss is much larger than the average sensitivity taken over the single data point that is removed, especially in some advanced models such as random feature models or neural networks. Many previous works try to mitigate the distribution independent issue by proposing weaker notions of stability, however, they either only yield polynomial bounds or the bounds derived do not vanish as sample size goes to infinity. Given that, we propose \emph{locally elastic stability} as a weaker and distribution-dependent stability notion, which still yields exponential generalization bounds. We further demonstrate that locally elastic stability implies tighter generalization bounds than those derived based on uniform stability in many situations by revisiting the examples of bounded support vector machines, regularized least square regressions, and stochastic gradient descent.

研究の動機と目的

• 一様安定性の限界、すなわち分布に依存しないバウンドが、ニューラルネットワークのような現代のモデルにおける平均ケースの感度を反映しないことに対処する。
• 一様安定性より弱いが、依然として指数型一般化バウンドを生成する安定性概念を開発する。
• 訓練データサイズが増加するにつれて一般化バウンドが消失することを保証し、理論的期待に整合する。
• 深層学習モデルで観察されるラベル依存の感度パターン、例えば類似クラス間の損失感度の対角構造を捉える。
• 局所的に弾性のある安定性が、SVM、リッジ回帰、SGDのような実用的設定において、一様安定性よりも顕著にタイトな一般化バウンドをもたらすことを示す。

提案手法

• 訓練データとテストデータの分布に基づいて、最悪ケースの一点削除ではなく、データ分布に依存する感度を制限する、データ依存の安定性概念として局所的に弾性のある安定性を提案する。
• 影響関数を用いて個々のデータポイントに対する損失の感度を推定し、安定性パラメータの経験的推定を可能にする。
• 主な安定性パラメータを定義する：$\sup_{z' \in \mathcal{Z}} \mathbb{E}_z \beta(z', z)$ はデータ分布上の期待感度を捉え、$M_\beta = m \beta^U_m$ はデータペア全体における最悪ケース感度を捉える。
• 局所的に弾性のある安定性に基づく指数型一般化バウンドを導出し、サンプルサイズが増加するにつれてバウンドが消失することを示し、一貫性を保証する。
• 標準的なモデル（SVM、リッジ回帰、SGD）を再検討し、一様安定性と局所的に弾性のある安定性に基づくバウンドを比較する。
• ResNet-18および2層ReLUネットワークを用いたCIFAR-10における経験的評価を通し、$M_l$、$M_\beta$、および$\sup_{z'} \mathbb{E}_z \beta(z', z)$ を比較し、最悪ケースと平均ケースの感度のギャップを実証する。

実験結果

リサーチクエスチョン

• RQ1 一様安定性より弱い安定性概念でも、依然として指数型一般化バウンドを生成できるか？
• RQ2 分布に依存する安定性測度は、深層学習モデルにおいて、最悪ケースの感度よりも平均ケースの感度をより正確に捉えられるか？
• RQ3 局所的に弾性のある安定性は、訓練データサイズが増加するにつれて一般化バウンドが消失するか、一貫性を満たすか？
• RQ4 SVM、リッジ回帰、SGDのような実用的モデルにおいて、局所的に弾性のある安定性に基づく一般化バウンドは、一様安定性に基づくバウンドと比べてどのように異なるか？
• RQ5 ニューラルネットワークおよびランダム特徴量モデルにおけるクラスレベルの感度構造は、一様安定性の限界をどの程度明らかにするか？

主な発見

• 局所的に弾性のある安定性は、サンプルサイズが増加するにつれて消失する指数型一般化バウンドをもたらし、理論的期待に整合する一貫性を保証する。
• ニューラルネットワークおよびランダム特徴量モデルにおいて、最悪ケースの感度（$M_\beta$ で捉える）は、平均ケースの感度（$\sup_{z'} \mathbb{E}_z \beta(z', z)$ で捉える）の最大29倍も大きいことが判明し、一様安定性が感度を過大評価していることが示された。
• CIFAR-10における2層ReLUネットワークでは、$M_\beta = 3464.97$ であるのに対し、$\sup_{z'} \mathbb{E}_z \beta(z', z) = 22.91$ であり、分布依存のバウンドを用いることで感度測定が150倍も低減された。
• クラスレベルの分析では、ResNet-18における1つのクラスから別のクラスへの最大感度は3.05であるのに対し、平均感度はたった1.02にとどまり、局所的弾性と整合する強い対角構造が確認された。
• 細分化された分析では、同じスーパークラス内（例：ネコ、イヌ）の例では感度が高く（0.09符号、1.92絶対値）、異なったスーパークラス間（例：ネコ、自動車）では感度が低くなることが確認され、ラベル依存の感度パターンが裏付けられた。
• SVM、リッジ回帰、SGDを含む全テストモデルにおいて、局所的に弾性のある安定性に基づく一般化バウンドは、一様安定性に基づくバウンドよりもタイトであり、実際のデータ分布の感度により適切に一致していることが示された。