[論文レビュー] High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise

Eduard Gorbunov, Abdurakhmon Sadiev+6 more|arXiv (Cornell University)|Oct 3, 2023

Stochastic Gradient Optimization TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、重尾ノイズを伴う複合的および分散型最適化問題に対する、新たな確率的最適化手法を提案する。勾配差分クリッピングを用いることで、高確率での収束保証を厳密に達成する。近似的に最適な収束レートを確立し、特に強い凸問題では線形収束を達成する。これにより、従来の手法が複合的または分散型設定において重尾ノイズを扱えなかったという限界を解消する。

ABSTRACT

High-probability analysis of stochastic first-order optimization methods under mild assumptions on the noise has been gaining a lot of attention in recent years. Typically, gradient clipping is one of the key algorithmic ingredients to derive good high-probability guarantees when the noise is heavy-tailed. However, if implemented naïvely, clipping can spoil the convergence of the popular methods for composite and distributed optimization (Prox-SGD/Parallel SGD) even in the absence of any noise. Due to this reason, many works on high-probability analysis consider only unconstrained non-distributed problems, and the existing results for composite/distributed problems do not include some important special cases (like strongly convex problems) and are not optimal. To address this issue, we propose new stochastic methods for composite and distributed optimization based on the clipping of stochastic gradient differences and prove tight high-probability convergence results (including nearly optimal ones) for the new methods. Using similar ideas, we also develop new methods for composite and distributed variational inequalities and analyze the high-probability convergence of these methods.

研究の動機と目的

• 重尾ノイズ下での複合的および分散型確率的最適化における高確率収束解析の不足を解消すること。
• ノイズが存在しない状況ですら、標準的な勾配クリッピングがプロキシマルおよび分散型手法で失敗することを克服すること。
• 重尾ノイズ下でも高確率で加速的および線形収束レートを達成する新たなアルゴリズムの開発。
• 類似したノイズ条件の下で、複合的および分散型変分不等式問題への解析の拡張。

提案手法

• 複合的および分散型設定における収束安定化のため、生の勾配ではなく確率的勾配差分に基づく新たなクリッピング機構を提案する。
• 勾配差分の適応的クリッピングを用いる Prox-clipped-SGD および Prox-clipped-SGD-shift の変種を導入し、重尾ノイズ下でも収束を維持する。
• 集中不等式とイベント分解を用いた高確率解析フレームワークを採用し、逸脱確率を制御する。
• クリッピングとステップサイズスケジューリングによる勾配差分の成長を制御することで、タイトな複雑度バウンドを導出する。
• 最小化問題および変分不等式問題の両方へ適用し、分散型および複合的定式化へ拡張する。
• 再帰的イベントベース解析を用いて、重尾ノイズ下でも反復点が高確率で最適解に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配差分クリッピングは、重尾ノイズ下での複合的および分散型確率的最適化において、高確率収束を可能にするか？
• RQ2 標準的な勾配クリッピング手法は、ノイズなしの状況ですら、プロキシマルおよび分散型設定でなぜ失敗するのか？
• RQ3 新たなクリッピング戦略を用いることで、重尾ノイズ下の強い凸問題において、近似的に最適な収束レート（線形収束を含む）を達成できるか？
• RQ4 提案手法は、制約付きおよび複合的構造を持つ変分不等式問題へ拡張可能か？
• RQ5 高確率領域において、クリッピングレベル、ステップサイズ、収束レートの最適なトレードオフは何か？

主な発見

• 提案された Prox-clipped-SGD および Prox-clipped-SGD-shift の手法は、重尾ノイズ下の複合的および分散型問題において、近似的に最適なレートで高確率収束を達成する。
• 強い凸問題においても、高確率で線形収束を実現し、従来の手法の限界を克服する。
• 解析により、確率が少なくとも 1−β である場合、反復点が ∥xK+1−x∗∥2≤O(Vexp(−Kln2(nK)/β)) を満たすことが示され、問題パラメータへのほぼ最適な依存関係を達成する。
• 強い凸ケースでは、高確率で収束レート O(exp(−μK/L)) を達成し、期待値における最適レートと一致する。
• ε-精度に達成するための複雑度バウンドは K=O(max(L/√nμ, L/μ ln(V/ε), (σ²/μ²ε)^(α/(2(α−1))) ln(n/β))) であり、対数要因を除いてタイトである。
• 数値実験により、勾配差分クリッピングがナイーブな勾配クリッピングを上回り、特に小さなクリッピングレベル下で顕著な性能向上を示し、より高い精度への収束が早くなることが確認された。