[論文レビュー] Tight Dimension Independent Lower Bound on the Expected Convergence Rate for Diminishing Step Sizes in SGD

Phuong Ha Nguyen, Lam M. Nguyen+1 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

この論文は、強い凸関数に対する確率的勾配降下法（SGD）の期待収束速度について、次元に依存しない下界を確立し、ICML 2018および2019年に提案された最近の減少ステップサイズ列が、すべての反復回数および次元において最適解に32倍の要因で近いことを証明している。

ABSTRACT

We study the convergence of Stochastic Gradient Descent (SGD) for strongly convex objective functions. We prove for all $t$ a lower bound on the expected convergence rate after the $t$-th SGD iteration; the lower bound is over all possible sequences of diminishing step sizes. It implies that recently proposed sequences of step sizes at ICML 2018 and ICML 2019 are {\em universally} close to optimal in that the expected convergence rate after {\em each} iteration is within a factor $32$ of our lower bound. This factor is independent of dimension $d$. We offer a framework for comparing with lower bounds in state-of-the-art literature and when applied to SGD for strongly convex objective functions our lower bound is a significant factor $775\cdot d$ larger compared to existing work.

研究の動機と目的

• 強い凸目的関数に対する減少ステップサイズを用いたSGDの期待収束速度に対する普遍的な下界を確立すること。
• ICML 2018および2019年に提案された最近のステップサイズ列の収束速度に関する最適性を評価すること。
• 最先端の文献における収束下界を比較するためのフレームワークを構築すること。
• 提案された下界が、既存の下界よりも775·d倍も著しく大きいことを示すこと。

提案手法

• すべての可能な減少ステップサイズ列に対して、各SGD反復後の期待収束速度の下界を導出する。
• 異なるステップサイズ列間の収束速度を比較するための新しい分析フレームワークを適用する。
• 目的関数の強い凸性を用いて、次元dに依存しないタイトな下界を導出する。
• 導出された下界を既存の文献の下界と比較し、乗法的ギャップが775·dであることを示す。
• すべての可能な減少ステップサイズ列に対する最悪ケース解析を用いて、普遍性を確立する。
• 既知のステップサイズ列の最適性ギャップを、導出された下界と比較することで定量化する。

実験結果

リサーチクエスチョン

• RQ1 任意の減少ステップサイズ列は、強い凸関数に対するSGDの最適期待収束速度にどの程度近づけるか？
• RQ2 ICML 2018およびICML 2019で提案されたステップサイズ列は、収束速度の観点からどの程度近似的に最適か？
• RQ3 減少ステップサイズを用いたSGDの期待収束速度に対する次元に依存しない下界は何か？
• RQ4 提案された下界は、文献における既存の下界とどのように定量的に比較できるか？
• RQ5 異なるSGDステップサイズ戦略の収束下界を比較するための一般化されたフレームワークを開発できるか？

主な発見

• この論文は、強い凸関数に対するSGDの期待収束速度について、次元に依存しない下界を確立している。
• 提案された下界は、文献における最高の既存の下界よりも775·d倍大きい。
• ICML 2018およびICML 2019で提案されたステップサイズ列は、すべての反復回数およびすべての次元において、導出された下界の32倍の範囲内にある。
• この32倍の要因は普遍的であり、問題の次元dに依存しないため、あらゆる設定で近似的に最適であることを示している。
• このフレームワークにより、収束下界の直接比較が可能になり、先行研究における顕著なギャップが明らかになった。
• 結果として、任意の減少ステップサイズ列が、提案された下界の32倍以内の期待収束速度しか達成できないことが示唆される。