[論文レビュー] Stability and Deviation Optimal Risk Bounds with Convergence Rate $O(1/n)$

Yegor Klochkov, Nikita Zhivotovskiy|arXiv (Cornell University)|Mar 22, 2021

Risk and Portfolio Optimization被引用数 4

ひとこと要約

本稿は、ベルシュタイン条件の下で一様安定な学習アルゴリズムに対して、確率的凸最適化における長年の未解決問題を解消し、$O(\log n / n)$ のオーダーの高確率的超過リスクバウンドを確立する。一様安定性とベルシュタイン条件を組み合わせることで、$O(1/\sqrt{n})$ の標本誤差項を排除し、滑らかさの仮定を必要とせずに、経験的リスク最小化および投影勾配降下法における最適な $O(1/n)$ 収束レートを達成できる。

ABSTRACT

The sharpest known high probability generalization bounds for uniformly stable algorithms (Feldman, Vondr\\'{a}k, 2018, 2019), (Bousquet, Klochkov, Zhivotovskiy, 2020) contain a generally inevitable sampling error term of order $\\Theta(1/\\sqrt{n})$. When applied to excess risk bounds, this leads to suboptimal results in several standard stochastic convex optimization problems. We show that if the so-called Bernstein condition is satisfied, the term $\\Theta(1/\\sqrt{n})$ can be avoided, and high probability excess risk bounds of order up to $O(1/n)$ are possible via uniform stability. Using this result, we show a high probability excess risk bound with the rate $O(\\log n/n)$ for strongly convex and Lipschitz losses valid for \\emph{any} empirical risk minimization method. This resolves a question of Shalev-Shwartz, Shamir, Srebro, and Sridharan (2009). We discuss how $O(\\log n/n)$ high probability excess risk bounds are possible for projected gradient descent in the case of strongly convex and Lipschitz losses without the usual smoothness assumption.

研究の動機と目的

• 一様安定なアルゴリズムについて、期待値に関する一般化バウンドと高確率的一般化バウンドのギャップを埋めること。
• シャレフ＝シュワーツら（2009年）が提起した、強い凸性およびリプシッツ連続な損失関数における経験的リスク最小化（ERM）について、$O(\log n/n)$ の高確率的超過リスクバウンドを達成できるかという未解決問題を解消すること。
• ベルシュタイン条件が成り立つ場合に、既存のバウンドに含まれる $O(1/\sqrt{n})$ の標本誤差項を回避できることを示すこと。
• 損失関数の滑らかさを仮定せずとも、投影勾配降下法に最適な収束レートを拡張できること。

提案手法

• ベルシュタイン条件を導入・活用し、一様安定なアルゴリズムの一般化バウンドを精緻化する。
• 安定性に起因する弱く自己有界な確率変数のための、修正された対数ソボレフ不等式を適用し、濃度バウンドを導出する。
• 超過リスクを安定性と標本誤差の成分に分解し、ベルシュタイン条件の下で後者を排除する。
• 強い凸性とリプシッツ連続性を用いて損失関数の一様有界性を確立し、ベルシュタイン型不等式の適用を可能にする。
• ベルシュタイン条件の下で、一様安定性と超過リスクの自己有界性を組み合わせて、高確率的超過リスクバウンドを確立する。
• 結果を経験的リスク最小化および投影勾配降下法に適用し、滑らかさの仮定なしに $O(\log n/n)$ のレートを達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 一様安定性が $O(1/n)$ のオーダーの高確率的超過リスクバウンドをもたらすことができるか。それとも $O(1/\sqrt{n})$ 項は避けがたいのか。
• RQ2 強い凸性およびリプシッツ連続な損失関数において、滑らかさの仮定なしに、ERMについて $O(\log n/n)$ の高確率的超過リスクバウンドを達成できるか。
• RQ3 ベルシュタイン条件という弱い構造的仮定のもとで、既存の高確率的バウンドにおける $O(1/\sqrt{n})$ の標本誤差項を排除できるか。
• RQ4 損失関数の滑らかさが欠如している場合、投影勾配降下法における最適な $O(\log n/n)$ 収束が達成できないのか。

主な発見

• 本稿は、強い凸性およびリプシッツ連続な損失関数の下で、経験的リスク最小化について高確率的超過リスクバウンドが $O(\log n / n)$ のオーダーに達することを確立し、シャレフ＝シュワーツら（2009年）が提起した未解決問題を解消した。
• ベルシュタイン条件が成り立つ場合、既存のバウンドに含まれる $O(1/\sqrt{n})$ の標本誤差項が排除され、$O(1/n)$ のレートまで収束が可能になる。
• 滑らかさの仮定なしに、投影勾配降下法に対しても、一様安定性を用いて $O\left(\log n / n\right)$ の超過リスクバウンドが達成可能である。
• 強い凸性とリプシッツ連続性の下で、損失関数が一様有界であることが示され、ベルシュタイン型濃度不等式の適用が可能になった。
• 証明は、修正された対数ソボレフ不等式と超過リスクの弱い自己有界性に依拠しており、きめ細かな濃度バウンドを可能にした。
• 主な技術的革新は、ベルシュタイン条件を用いて安定性と標本誤差を分離し、最適な収束レートを達成した点である。