[論文レビュー] Exponential Step Sizes for Non-Convex Optimization.

Xiaoyu Li, Zhenxun Zhuang+1 more|arXiv (Cornell University)|Feb 12, 2020

Stochastic Gradient Optimization Techniques参考文献 23被引用数 7

ひとこと要約

本稿では、平滑な非凸関数の確率的最適化において、Polyak-Łojasiewicz (PL) 条件の下で指数的ステップサイズを提案し、ノイズの有無に応じて線形（ノイズなし）と $O(1/T)$（ノイズあり）の挙動の間を滑らかに補間する、適応的収束レートを達成する。PL 条件が成り立たない場合でも、対数的要因を除き最適な収束が保証され、深層学習データセットで検証されている。

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular tool in large scale optimization of machine learning objective functions. However, the performance is greatly variable, depending on the choice of the step sizes. In this paper, we introduce the exponential step sizes for stochastic optimization of smooth non-convex functions which satisfy the Polyak-Łojasiewicz (PL) condition. We show that, without any information on the level of noise over the stochastic gradients, these step sizes guarantee a convergence rate for the last iterate that automatically interpolates between a linear rate (in the noisy-free case) and a $O(\frac{1}{T})$ rate (in the noisy case), up to poly-logarithmic factors. Moreover, if without the PL condition, the exponential step sizes still guarantee optimal convergence to a critical point, up to logarithmic factors. We also validate our theoretical results with empirical experiments on real-world datasets with deep learning architectures.

研究の動機と目的

• 大規模な非凸最適化におけるステップサイズの選定が引き起こす SGD の性能の高頻度なばらつきを是正すること。
• 事前にノイズの知識が得られない状況下でも、ステップサイズを勾配ノイズレベルに自動的に適応させる戦略の開発。
• 特に Polyak-Łojasiewicz (PL) 条件の下で、最後の反復における収束保証を確立すること。
• PL 条件を越えて収束結果を拡張し、対数的要因を除き臨界点への最適収束を保証すること。

提案手法

• 反復回数に応じて幾何的に減少する指数的ステップサイズを提案し、ノイズの推定を明示的に行わずに最適化の様相に適応する。
• Polyak-Łojasiewicz (PL) 条件の下での収束を分析し、指数的ステップサイズが線形収束（ノイズなし）と $O(1/T)$（ノイズあり）の間を滑らかに補間する収束速度を達成することを示す。
• 滑らかな非凸関数および確率的勾配の性質を活用し、最後の反復における期待される最適性ギャップの理論的境界を導出する。
• PL 条件が成り立たない場合でも、指数的ステップサイズが臨界点への最適収束を対数的要因を除き達成することを確立する。
• ステップサイズの減少と勾配ノイズ分散の相互作用を考慮する、新しい分析フレームワークを採用する。
• 標準的なアーキテクチャを用いた実世界の深層学習データセットを用いた実験により、理論的結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 指数的ステップサイズは、事前にノイズの知識が得られない状況下でも、ノイズレベルに応じて適応的収束速度を達成できるか？
• RQ2 指数的ステップサイズを用いた場合、Polyak-Łojasiewicz (PL) 条件下で最後の反復の収束速度はどのように振る舞うか？
• RQ3 PL 条件が成り立たない場合、指数的ステップサイズに対してどのような収束保証を提供できるか？
• RQ4 指数的ステップサイズは、非凸設定において臨界点への最適収束をどの程度保証するか？
• RQ5 指数的ステップサイズは、深層学習応用において標準的な SGD と比べてどのように実験的に比較されるか？

主な発見

• PL 条件の下では、指数的ステップサイズが、ノイズなしの線形収束とノイズありの $O(1/T)$ の間を滑らかに補間する収束速度を、多対数的要因を除き保証する。
• PL 条件が成り立たない場合でも、指数的ステップサイズは臨界点への最適収束を対数的要因を除き達成する。
• 勾配ノイズのレベルに応じて収束速度が自動的に適応され、明示的なノイズ推定が不要である。
• 実世界の深層学習データセットにおける実験結果は、指数的ステップサイズが標準的な SGD より理論的利点を示していることを確認している。
• 提案されたステップサイズ戦略は、さまざまなノイズ環境においても安定した性能を発揮し、収束速度を向上させる。