[論文レビュー] On the Convergence of Stochastic Gradient Descent with Bandwidth-based Step Size

Xiaoyu Wang, Ya-xiang Yuan|arXiv (Cornell University)|Feb 17, 2021

Stochastic Gradient Optimization Techniques参考文献 45被引用数 5

ひとこと要約

本稿では、時間とともに減少する上限および下限で制限される帯域に基づくステップサイズフレームワークを、確率的勾配降下法（SGD）に提案する。弱い条件下でも非漸近的収束レートを確立し、非単調なステップサイズ戦略（例：$1/t$ のアップダウンや周期的スケジュール）を含む、さまざまなステップサイズポリシーについて、最適な $\mathcal{O}(1/T)$ および $\mathcal{O}(/log T / T)$ の収束レートを示す。

ABSTRACT

We investigate the stochastic gradient descent (SGD) method where the step size lies within a banded region instead of being given by a fixed formula. The optimal convergence rate under mild conditions and large initial step size is proved. Our analysis provides comparable theoretical error bounds for SGD associated with a variety of step sizes. In addition, the convergence rates for some existing step size strategies, e.g., triangular policy and cosine-wave, can be revealed by our analytical framework under the boundary constraints. The bandwidth-based step size provides efficient and flexible step size selection in optimization. We also propose a $1/t$ up-down policy and give several non-monotonic step sizes. Numerical experiments demonstrate the efficiency and significant potential of the bandwidth-based step-size in many applications.

研究の動機と目的

• ステップサイズが固定スケジュールに従わず、時間に応じて変化するバンド領域内に位置する場合の SGD の収束を分析すること。
• 大きな初期ステップサイズと有界な勾配ノイズを仮定する弱い仮定のもとで、SGD の非漸近的収束レートを確立すること。
• 三角法、コサイン波、区分的減衰ポリシーなど、既存の非単調なステップサイズ戦略を、統一された理論的枠組み内で統合・分析すること。
• 新規の $1/t$ アップダウンステップサイズポリシーを提案し、その収束特性を示すこと。
• 適応的および周期的スケジュールを含む、さまざまなステップサイズ族について、既存の最良結果と同等の理論的誤差境界を提供すること。

提案手法

• ステップサイズに帯域に基づく制約を導入：$ m\delta_1(t) \leq \eta(t) \leq M\delta_2(t) $、ここで $ \delta_1(t), \delta_2(t) $ は非増加関数。
• リャプノフ関数のアプローチを用いて、最適解への期待二乗距離 $ \mathbb{E}[\|x_t - x^*\|^2] $ の上限を導出する。
• ステップサイズと勾配ノイズ分散を含む再帰的不等式を適用し、収束レートを導出する。
• 積分および対数的バインドを用いて、異なる帯域関数下での誤差項の減衰を分析する。
• ステップサイズの減衰と勾配ノイズの累積的効果のバランスを取ることで、収束レートを導出する。
• 既知のポリシー（例：$1/t$、コサイン、三角法）が帯域制約を満たし、既知のレートに達することをフレームワークで検証する。

実験結果

リサーチクエスチョン

• RQ1 非単調的かつ固定でないステップサイズポリシーを分析する統一された理論的枠組みを構築できるか？
• RQ2 ステップサイズが時間に応じて変化するバンド内にある場合、SGD の収束レートはどの程度保証できるか？
• RQ3 周期的学習率や区分的減衰といった既存のステップサイズ戦略は、この帯域ベースの枠組みにどのように適合するか？
• RQ4 $1/t$ アップダウンのような新しい非単調ステップサイズポリシーを設計し、この枠組みのもとで収束を証明できるか？
• RQ5 有界な勾配ノイズのもとで、初期ステップサイズの大きさと収束レートの最適なトレードオフは何か？

主な発見

• 帯域ベースのフレームワークは、適切な帯域条件のもとで、強い凸性および $L$-スムーズ関数に対して最適な $\mathcal{O}(1/T)$ の収束レートを達成する。
• ステップサイズが $ \eta(t) \in [m/(t+1)\ln(t+1), M/(t+1)^\alpha] $ を満たし、$ \alpha \in (1/2,1] $ である場合、収束レートは $ \mathcal{O}(1/(\ln T)^{\tau\mu m}) $ となり、多項式より遅いが、任意の $ \epsilon > 0 $ に対して $ \mathcal{O}(1/T^\epsilon) $ より速い。
• フレームワークは既存ポリシーの収束行動を回復・解釈する。三角法およびコサイン波スケジュールは、帯域制約を満たし、既知の誤差境界に達することが示された。
• 提案された $1/t$ アップダウンポリシーは帯域モデルのもとで収束が証明され、ステップサイズ設計における柔軟性を示した。
• 数値実験により、複数の機械学習応用分野において帯域ベースステップサイズの効率性と実用的潜在能力が確認された。
• 分析により、非単調ステップサイズに対しても、既存の最良結果と同等の非漸近的誤差境界が得られた。