[論文レビュー] High Probability Convergence of Clipped-SGD Under Heavy-tailed Noise

Ta Duy Nguyen, Thien Hang Nguyen+2 more|arXiv (Cornell University)|Feb 10, 2023

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、$p$-階モーメントが有界な重たい尾を持つ確率的勾配ノイズの下で、Clipped-SGD の高確率収束バウンドを確立する。$p \in (1,2]$ であり、時間最適な収束レート（対数因子を除いて）を達成する、新規な分析フレームワークを用いる。この手法は最小限の仮定でのみ要求され、モーメンタムや勾配の有界性仮定なしにノイズ適応的レートを達成する。

ABSTRACT

While the convergence behaviors of stochastic gradient methods are well understood \emph{in expectation}, there still exist many gaps in the understanding of their convergence with \emph{high probability}, where the convergence rate has a logarithmic dependency on the desired success probability parameter. In the \emph{heavy-tailed noise} setting, where the stochastic gradient noise only has bounded $p$-th moments for some $p\in(1,2]$, existing works could only show bounds \emph{in expectation} for a variant of stochastic gradient descent (SGD) with clipped gradients, or high probability bounds in special cases (such as $p=2$) or with extra assumptions (such as the stochastic gradients having bounded non-central moments). In this work, using a novel analysis framework, we present new and time-optimal (up to logarithmic factors) \emph{high probability} convergence bounds for SGD with clipping under heavy-tailed noise for both convex and non-convex smooth objectives using only minimal assumptions.

研究の動機と目的

• 従来の分散に基づく仮定が失敗する重たい尾を持つ勾配ノイズ下での確率的1階最適化法の理論的理解のギャップを埋める。
• 有界な非中心モーメントやドメイン直径制約といった強い仮定に依存する既存の高確率的収束結果の制限を克服する。
• 最小限の仮定、具体的には有界な $p$-階モーメントノイズの下で、凸および非凸な滑らかな目的関数に対して時間最適な高確率的収束を確立する。
• モーメンタムや勾配正規化を必要とせず、ノイズレベルが低下するにつれて決定的レートに近づくノイズ適応的収束レートを達成する。
• 凸および非凸設定の両方に適用可能な一般化された分析フレームワークを提供し、重たい尾を持つノイズ下での収束保証を統一する。

提案手法

• モーメンタムを使用しない、単純な勾配クリッピング機構を備えた Clipped-SGD アルゴリズムを提案する。
• 重たい尾を持つノイズ下でのノイズの影響を制御するための、新規な集中度分析フレームワークを導入し、有界な $p$-階モーメントにのみ依存する。
• 累積的な勾配ノルムのずれを制限するために、高確率的マルティングルール集中不等式を用いる。クリッピングしきい値はバイアスと分散のバランスを取るために選択される。
• 時間の長さ $T$、ノイズレベル $\sigma$、モーメントパラメータ $p$ を考慮したステップサイズスケジュールを導出する。これにより最適な収束レートが保証される。
• 反復値をバイアスとノイズ成分に再帰的に分解し、ずれの二乗和を制御するためにチェーンイングの議論を適用する。
• ずれ項の2次モーメントをバウンドするための鍵となる補題を活用し、$\sigma^p$ および $T$ に関連する適切に選ばれた $G$ パラメータにより、高確率的制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 $p \in (1,2]$ の範囲で、$p$-階モーメントが有界なノイズという最小限の仮定の下で、Clipped-SGD の高確率的収束を確立できるか？
• RQ2 提案手法は、重たい尾を持つノイズ下で、凸および非凸な目的関数に対して、時間最適な収束レート（対数因子を除いて）を達成できるか？
• RQ3 勾配の有界性や非中心モーメントを必要とせず、ノイズレベルが低下するにつれて収束保証が改善されるノイズ適応的レートを達成できるか？
• RQ4 モーメンタムやドメイン直径の有界性といった追加仮定に依存せず、高確率的収束を達成できるか？
• RQ5 凸および非凸設定の両方に対して、重たい尾を持つノイズ下で統一的な分析フレームワークを開発できるか？

主な発見

• 本稿は、$p$-階モーメントが有界なノイズという最小限の仮定の下で、凸および非凸な滑らかな目的関数に対して Clipped-SGD の高確率的収束を確立する。
• 収束レートは $T$ および成功確率 $\delta$ に関して対数因子を除いて時間最適であり、期待値に関する既知の下界と一致する。
• ノイズ適応的レートを達成する：ノイズレベル $\sigma$ が低下するにつれて、収束レートは決定的レートに近づく。
• 従来の研究とは異なり、勾配の有界性、非中心モーメント、ドメイン直径の制約を必要としない。
• ステップサイズは $\sigma$、$T$、$p$、および問題の滑らかさパラメータ $L$ に応じて適応的に選択され、最適なスケーリングを保証する。
• 高確率 $1 - \delta$ において、平均二乗勾配ノルムが $\mathcal{O}\left(\sqrt{\Delta_1 L} \ln \frac{4T}{\delta} \cdot T^{\frac{2-2p}{3p-2}} \max\left\{ \sigma^{\frac{p}{p-1}}, T^{\frac{1-2p}{3p-2}} \right\} \right)$ で有界であることが示され、望ましいレートが達成される。