[論文レビュー] Tight Analyses for Non-Smooth Stochastic Gradient Descent

Nicholas J. A. Harvey, Christopher Liaw+2 more|arXiv (Cornell University)|Dec 13, 2018

Stochastic Gradient Optimization Techniques参考文献 26被引用数 21

ひとこと要約

この論文は、Lipschitzかつ強く凸な関数に対する非滑らか確率的勾配降下法（SGD）について、高確率的誤差バウンドを厳密に導出する。SGDの最終反復が高確率的に $ O(\log T / T) $ の誤差を達成することを証明し、決定的勾配降下法の最適レートを達成しており、Shamirが提起した未解決問題を解決する。サフィックス平均化も高確率的に最適な $ O(1/T) $ レートを達成し、従来の結果が期待値でのみこのバウンドを達成していたり、対数因子が最適でないことが分かっていたのを改善する。

ABSTRACT

Consider the problem of minimizing functions that are Lipschitz and strongly convex, but not necessarily differentiable. We prove that after $T$ steps of stochastic gradient descent, the error of the final iterate is $O(\log(T)/T)$ with high probability. We also construct a function from this class for which the error of the final iterate of deterministic gradient descent is $Ω(\log(T)/T)$. This shows that the upper bound is tight and that, in this setting, the last iterate of stochastic gradient descent has the same general error rate (with high probability) as deterministic gradient descent. This resolves both open questions posed by Shamir (2012). An intermediate step of our analysis proves that the suffix averaging method achieves error $O(1/T)$ with high probability, which is optimal (for any first-order optimization method). This improves results of Rakhlin (2012) and Hazan and Kale (2014), both of which achieved error $O(1/T)$, but only in expectation, and achieved a high probability error bound of $O(\log \log(T)/T)$, which is suboptimal. We prove analogous results for functions that are Lipschitz and convex, but not necessarily strongly convex or differentiable. After $T$ steps of stochastic gradient descent, the error of the final iterate is $O(\log(T)/\sqrt{T})$ with high probability, and there exists a function for which the error of the final iterate of deterministic gradient descent is $Ω(\log(T)/\sqrt{T})$.

研究の動機と目的

• 非滑らかかつ強く凸な関数に対する確率的勾配降下法（SGD）の最終反復の収束レートに関する未解決問題を解消すること。
• 最終反復の $ O(\log T / T) $ 期待誤差バウンドが、高確率的枠組みでもタイトであるかどうかを特定すること。
• サフィックス平均化が高確率的に最適な $ O(1/T) $ 誤差レートを達成できるかどうかを分析すること。
• 非滑らかかつ強く凸な設定ですでに $ \log T $ 要素が誤差バウンドに必要であることを、決定的勾配降下法に対しても証明すること。
• 最後の $ k $ 個の反復の任意の凸結合は $ \log(T/k) $ 要素を含む必要があることから、最適性を達成するにはサフィックス平均化が最後の反復の定数割合を平均化する必要があることを示すこと。

提案手法

• 部分勾配ノイズを扱うためにモーメント生成関数（MGF）を用い、部分勾配ノルムの定数バウンドを確率的変数に置き換えることで、高確率的集中を改善する。
• 主な技術的革新は、Hölderまたはコーシー＝シュワルツ不等式を用いたMGFの三角不等式を用い、従来は定数とみなされていたノイズ項のMGFを分離してバウンドすること。
• 最終反復およびサフィックス平均の下界を導出するために、$ [-1,1] $ 上で $ f(x) = \frac{1}{2}x^2 $ という1次元関数と対称部分勾配ノイズを用いた具体例を構築する。
• 独立なラデマッハ確率変数の和に関する補題G.1（集中不等式）を適用し、最終反復または平均が確率 $ \delta $ 以上で $ \Omega(\log(1/\delta)/T) $ を超えることを示す。
• SGDの最終反復とサフィックス平均化の性能を比較し、同じ仮定のもとで両者とも高確率的に同じレートを達成することを示す。
• 特定の関数を構築することで、決定的勾配降下法の最終反復が $ \Omega(\log T / T) $ の誤差を負担することを証明し、$ \log T $ 要素がタイトであることを示す。

実験結果

リサーチクエスチョン

• RQ1 非滑らかかつ強く凸な関数に対して、SGDの最終反復の $ O(\log T / T) $ 期待誤差バウンドが、高確率的枠組みでもタイトであるか？
• RQ2 サフィックス平均化は高確率的に最適な $ O(1/T) $ 誤差レートを達成できるか？それとも、従来の $ O(\log \log T / T) $ の高確率的バウンドが最適でないか？
• RQ3 最終反復の誤差バウンドにおける $ \log T $ 要素は、決定的設定でも必要であるか？
• RQ4 非滑らかかつ強く凸な設定において、SGDの最終反復は決定的勾配降下法と同等の高確率的収束レートを達成するか？
• RQ5 高確率的に最適な $ O(1/T) $ レートを達成するには、最後の反復を平均化する最小の回数（最近の反復数）はどれくらいか？

主な発見

• Lipschitzかつ強く凸な関数に対して、確率的勾配降下法（SGD）の最終反復は高確率的に $ O(\log T / T) $ の誤差を達成し、決定的勾配降下法の最適レートと一致する。
• 最終反復が $ \Omega(\log T / T) $ の誤差を負担する関数が存在し、$ \log T $ 要素が必要であり、上界がタイトであることを証明する。
• サフィックス平均化は高確率的に $ O(1/T) $ の誤差を達成し、これは最適であり、従来の結果が期待値でのみこのレートを達成していたり、$ \log \log T $ 要素が余分にかかっていたのを改善する。
• 最後の $ k $ 個の反復の任意の凸結合は、誤差に $ \log(T/k) $ 要素を含む必要があるため、最適性を達成するにはサフィックス平均化が最後の反復の定数割合を平均化する必要がある。
• 最終反復の高確率的誤差バウンドは $ \Omega(\log(1/\delta)/T) $ であり、任意の高確率的保証において $ \log(1/\delta) $ 依存性が必須であることを示す。
• 非滑らかで凸な関数（強く凸でない場合を含む）に対して、SGDの最終反復は高確率的に $ O(\log T / \sqrt{T}) $ の誤差を達成し、このバウンドはタイトである。