[論文レビュー] High probability generalization bounds for uniformly stable algorithms with nearly optimal rate

Vitaly Feldman, J. Vondrák|arXiv (Cornell University)|Feb 27, 2019

Stochastic Gradient Optimization Techniques参考文献 44被引用数 40

ひとこと要約

本論文は、gamma-一様安定なアルゴリズムに対する対数オーバーヘッドを伴うほぼ厳密な高確率一般化境界を証明し、従来の境界を改良するとともに、 SGD と正則化 ERM の強力な結果を可能にする。

ABSTRACT

Algorithmic stability is a classical approach to understanding and analysis of the generalization error of learning algorithms. A notable weakness of most stability-based generalization bounds is that they hold only in expectation. Generalization with high probability has been established in a landmark paper of Bousquet and Elisseeff (2002) albeit at the expense of an additional $\sqrt{n}$ factor in the bound. Specifically, their bound on the estimation error of any $γ$-uniformly stable learning algorithm on $n$ samples and range in $[0,1]$ is $O(γ\sqrt{n \log(1/δ)} + \sqrt{\log(1/δ)/n})$ with probability $\geq 1-δ$. The $\sqrt{n}$ overhead makes the bound vacuous in the common settings where $γ\geq 1/\sqrt{n}$. A stronger bound was recently proved by the authors (Feldman and Vondrak, 2018) that reduces the overhead to at most $O(n^{1/4})$. Still, both of these results give optimal generalization bounds only when $γ= O(1/n)$. We prove a nearly tight bound of $O(γ\log(n)\log(n/δ) + \sqrt{\log(1/δ)/n})$ on the estimation error of any $γ$-uniformly stable algorithm. It implies that for algorithms that are uniformly stable with $γ= O(1/\sqrt{n})$, estimation error is essentially the same as the sampling error. Our result leads to the first high-probability generalization bounds for multi-pass stochastic gradient descent and regularized ERM for stochastic convex problems with nearly optimal rate --- resolving open problems in prior work. Our proof technique is new and we introduce several analysis tools that might find additional applications.

研究の動機と目的

• 一様に安定な学習アルゴリズムの高確率一般化境界を動機づけ、分析する。
• オーバーヘッドを sqrt(n) から delta と n の多項式対数因子に削減して、以前の境界を改善する。
• 確率的凸設定におけるマルチパス SGD および正則化 ERM への適用性を示す。
• レンジリダクションとデータセット分割によって推定誤差を分解する新しい証明技法を提供する。

提案手法

• データ依存関数に対して gamma-一様安定性を定義し、一般化誤差 Delta_s(M) との関係を 明らかにする。
• 安定性を制御した留一アウトの偏りなし変換 L(s,z) を導入する。
• ゼロ平均と安定性を保ちながら、クリッピングと平均の減算によるレンジリダクションを開発する。
• 推定誤差を(レンジリダクションとデータセットサイズの縮小)という再帰的な二作用スキームを用いて界を設ける。
• 指數尾を持つ主な集中界を証明する: Delta_s(M) <= c( gamma log(n) log(n/delta) + sqrt(log(1/delta)/n) ).
• この境界を確率的凸最適化設定に適用し、強凸 ERM および SGD に関するコロラリーを導出する。

実験結果

リサーチクエスチョン

• RQ1 gamma- uniform stability アルゴリズムで、対数オーバーヘッドのみで高確率一般化境界を達成できるか？
• RQ2 安定性パラメータ gamma が対数因子とどのように相互作用して推定誤差に影響を与えるか？
• RQ3 新しい境界は多重パス SGD および確率的凸問題の正則化 ERM に有意義な保証をもたらすか？
• RQ4 新しいレンジリダクション(クリッピング)技術は unbiasedness と安定性を同時に preserving できるか？
• RQ5 結果を予測プライベート学習および関連するプライバシー保護設定にどう活かせるか？

主な発見

• 高確率境界を確立: Pr[Delta_s(M) >= c( gamma log(n) log(n/delta) + sqrt(log(1/delta)/n) )] <= delta.
• gamma = O(1/√n) のとき、推定誤差は対数因子を除けばサンプリング誤差と同等であることを示した。
• SGD の全勾配降下法および確率的凸問題における正則化 ERM に対してほぼ最適な高確率一般化境界を導出した。
• 正則化パラメータ lambda = log(n)/√n に対する高確率保証を与えるコロラリーを提供した。
• 予測プライベート学習および関連境界を通じて差分プライバシー文脈への適用性を示した。