[論文レビュー] Simple and optimal high-probability bounds for strongly-convex stochastic gradient descent

Nicholas J. A. Harvey, Christopher Liaw+1 more|arXiv (Cornell University)|Sep 2, 2019

Stochastic Gradient Optimization Techniques参考文献 11被引用数 11

ひとこと要約

本稿は、滑らかでない強凸最適化における確率的勾配降下法（SGD）のための単純な非一様平均化戦略を提案する。初期の反復を線形的に重み付けし、Freedmanの不等式に基づく洗練されたマルティンゲール解析を活用することで、高確率的に最適な $O(1/T)$ 収束速度を達成し、理論的下界と一致し、実験でも標準的手法を上回る性能を示す。

ABSTRACT

We consider stochastic gradient descent algorithms for minimizing a non-smooth, strongly-convex function. Several forms of this algorithm, including suffix averaging, are known to achieve the optimal $O(1/T)$ convergence rate in expectation. We consider a simple, non-uniform averaging strategy of Lacoste-Julien et al. (2011) and prove that it achieves the optimal $O(1/T)$ convergence rate with high probability. Our proof uses a recently developed generalization of Freedman's inequality. Finally, we compare several of these algorithms experimentally and show that this non-uniform averaging strategy outperforms many standard techniques, and with smaller variance.

研究の動機と目的

• 滑らでない強凸関数におけるSGDの期待値収束と高確率的収束のギャップを埋めること。
• 従来、最適な期待値収束を達成することが知られていた単純な非一様平均化戦略が、高確率的にも最適な $O(1/T)$ 速度を達成することを示すこと。
• 一般化されたFreedman型不等式と、先行研究で観察された再帰的マルティンゲール構造を用いた、洗練された基本的証明を提供すること。
• 非一様平均化が、最終反復や一様平均化といった標準的な出力戦略と比較して、収束速度と分散の両面で優れていることを実験的に検証すること。

提案手法

• ステップサイズ $\eta_t = \frac{1}{t+1}$ を用いた標準的なSGDを用いるが、反復の非一様平均を出力する。ここで $i$ 番目の反復は $i$ に比例する重みで重み付けされる。
• 解析では、一般化されたFreedman不等式を用いてきめ細かな集中限界を達成できる再帰的構造を持つマルティンゲール差分列を同定する。
• 一変数のテストケース $f(x) = \frac{1}{2}x^2$ を用いて、高確率的限界を厳密に導出し、確率 $1 - \delta$ で $O(\log(1/\delta)/T)$ の誤差を達成することを示す。
• KleinとYoung（2015）の逆Chernoff不等式を、有界な確率変数の和に適用して高確率的解析を完成させる。
• 再帰的マルティンゲール性と勾配の一様有界性を活用することで、一般の滑らでない強凸関数へとこのアプローチを拡張する。
• 非一様平均を計算するための追加コードはたった1行のみで、実用的である。

実験結果

リサーチクエスチョン

• RQ1 単純な非一様平均化戦略が、期待値ではなく高確率的にも最適な $O(1/T)$ 収束速度を達成できるか？
• RQ2 先行研究のSGD解析で観察された再帰的マルティンゲール構造が、滑らでない強凸設定下でもきめ細かな高確率的限界を可能にするか？
• RQ3 非一様平均化は、収束速度と分散の両面で、標準的な出力戦略（例：最終反復、一様平均）と比較してどのように異なるか？
• RQ4 高確率的限界 $O(\log(1/\delta)/T)$ はタイトか？ そして、下界によって一致するか？

主な発見

• 非一様平均化戦略は、確率 $1 - \delta$ で $O(\log(1/\delta)/T)$ の誤差限界を達成し、最適なレートと一致し、従来の期待値保証とのギャップを埋めることに成功した。
• 下界 $\Omega(\log(1/\delta)/T)$ が確立され、高確率的限界がタイトであることが証明された。
• 実世界のデータセット（cina0 や protein など）を用いた実験により、最終反復や一様平均化よりも期待値と集中性の両面で優れた性能を示した。
• サフィックス平均化と非一様平均化はほぼ同一の性能を示し、全テストデータセットにおいてサフィックス平均化が期待値の面でわずかに優位であった。
• 解析は洗練されており、基本的である。一般化されたFreedman不等式と再帰的マルティンゲール構造に依拠しており、技術的負担は最小限に抑えられた。
• 実用的である：非一様平均化はたった1行の追加コードで実装可能であり、標準的なSGDに即座に組み込める改善手法である。