[論文レビュー] Improved Learning Rates for Stochastic Optimization

Shaojie Li, Tang, Pengwei+1 more|ArXiv.org|Jul 19, 2021

Sparse and Compressive Sensing Techniques参考文献 119被引用数 4

ひとこと要約

本稿は、より弱い仮定の下で、経験的リスク最小化（ERM）および確率的勾配降下法（SGD）を用いた確率的最適化における、改善された高確率的学習レートを確立している。安定性と一様収束の両フレームワークを活用することで、凸学習では最適な $Ø(1/n)$ レート、非凸学習ではより速い $Ø(1/n^2)$ レートを達成し、両理論的枠組みにおいて最先端の結果をもたらしている。

ABSTRACT

Stochastic optimization is a cornerstone of modern machine learning. This paper studies the generalization performance of two classical stochastic optimization algorithms: stochastic gradient descent (SGD) and Nesterov's accelerated gradient (NAG). We establish new learning rates for both algorithms, with improved guarantees in some settings or comparable rates under weaker assumptions in others. We also provide numerical experiments to support the theory.

研究の動機と目的

• 確率的最適化における ERM および SGD の強力な理論的理解の欠如、特に弱い仮定の下での問題を解決すること。
• 強凸性などの条件を緩和することで、凸学習における学習レートを改善すること。
• 先行研究が限定的または遅い非凸学習における、より速い収束レートの導出。
• 一般化性能の分析において、安定性と一様収束の二つの理論的視点を統合すること。
• 非凸設定における ERM および SGD に対して、初めて $Ø(1/n)$ 階数の高確率的超過リスクバウンドを確立すること。

提案手法

• 一様収束とアルゴリズム的安定性の二つの理論的枠組みを用いて、ERM および SGD を分析する。
• 一様収束を適用し、非凸設定におけるより速い $Ø(1/n^2)$ 学習レートを導出する。
• ステップサイズ $η_t = c/(t+1)$ を用いた安定性解析により、類似したデータセットで訓練されたモデル間の差をバウンディングする。
• 摂動を加えたデータに対するモデル更新の再帰的バウンディングを実施し、データポイントの影響を示すインジケータ関数を組み込む。
• 安定性解析における大きな逸脱の確率を制御するために、Chernoff 型の集中不等式を適用する。
• 再帰的安定性バウンディングとリプシッツ連続性および滑らかさの仮定を組み合わせることで、高確率的超過リスクバウンディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 強凸性よりも弱い仮定の下で、凸学習における ERM および SGD の改善された高確率的学習レートを達成できるか？
• RQ2 一般条件下での非凸学習における、ERM および SGD の最速の達成可能な学習レートは何か？
• RQ3 安定性フレームワークは、期待値でのみではなく、非凸問題に対しても $Ø(1/n)$ 階数の高確率的バウンディングをもたらせるか？
• RQ4 一様収束と安定性のフレームワークは、確率的最適化における高速レートを導出する上でどのように比較できるか？
• RQ5 高確率的安定性バウンディングにおいて、$n$ 依存性を $\mathcal{O}(1/\sqrt{n})$ よりも改善できるか？

主な発見

• 本稿は、先行研究よりも弱い仮定の下で、凸学習における ERM および SGD の高確率的学習レート $\mathcal{O}(1/n)$ を確立している。
• 非凸学習においては、安定性解析を用いて高確率的レート $\mathcal{O}(1/n)$ を達成しており、これは先行研究の高確率的バウンディング $\mathcal{O}(1/\sqrt{n})$ よりも顕著な改善である。
• 一様収束フレームワークにおいて、非凸設定における ERM および SGD のより速い学習レート $\mathcal{O}(1/n^2)$ を導出している。
• SGD の安定性バウンディングが、高確率的に $\mathcal{O}\left(t^{c\beta}\sqrt{\frac{\log(n/\delta)}{n}}\right)$ であることが示されており、非凸学習における同種の結果としては初めてのものである。
• 提示されたバウンディングは、凸および非凸両領域において、既存の結果を上回る最先端のものであることが示されている。
• 解析により、高確率的安定性バウンディングにおける $\mathcal{O}(1/\sqrt{n})$ 項が、洗練された集中技術により軽減可能であり、より速い収束が可能であることが明らかになった。