[論文レビュー] Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping

Eduard Gorbunov, М. А. Данилова+1 more|arXiv (Cornell University)|May 21, 2020

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

本稿では、勾配クリッピングを用いて重尾ノイズを扱う高速化された確率的1次順序法であるclipped-SSTMを提案する。重尾ノイズの下での確率的最適化における最初の高確率的複雑度バウンドを確立し、軽尾仮定を必要としない点で、標準的なSGDに比べて安定性と収束速度が著しく向上する。

ABSTRACT

In this paper, we propose a new accelerated stochastic first-order method called clipped-SSTM for smooth convex stochastic optimization with heavy-tailed distributed noise in stochastic gradients and derive the first high-probability complexity bounds for this method closing the gap in the theory of stochastic optimization with heavy-tailed noise. Our method is based on a special variant of accelerated Stochastic Gradient Descent (SGD) and clipping of stochastic gradients. We extend our method to the strongly convex case and prove new complexity bounds that outperform state-of-the-art results in this case. Finally, we extend our proof technique and derive the first non-trivial high-probability complexity bounds for SGD with clipping without light-tails assumption on the noise.

研究の動機と目的

• 確率的勾配が重尾ノイズ分布を示す場合に、標準的な確率的勾配降下法（SGD）の低い安定性と性能を改善すること。
• 現在、軽尾の場合に比べて遅れている、重尾ノイズ下での確率的最適化における高確率的収束バウンドの理論的ギャップを埋めること。
• 重尾ノイズ下でも高速な収束速度を維持しながら、実際の応用において安定性と耐障害性を保証する手法を開発すること。
• 凸および強凸設定の両方へ拡張し、後者においては改善された複雑度バウンドを導出すること。
• 軽尾仮定をしない条件下で、clipped SGDに対する非自明な高確率的複雑度バウンドを確立すること。

提案手法

• Nesterov風の加速と勾配クリッピングを組み合わせた、重尾ノイズの影響を軽減する新規の加速された確率的1次順序法であるclipped-SSTMを提案する。
• 各反復で確率的勾配のノルムを制限することで、希少な重尾外れ値による大きな更新を防ぐ勾配クリッピングを適用する。
• リーマン的勾配ノイズや重尾ノイズ下での収束を改善するため、適応的ステップサイズおよびモーメンタムパラメータを用いた加速SGDの特別なバージョンを用いる。
• サブ・ウェイブルまたはサブ・ガウス型の尾部に適した集中不等式を用いて、サブ・ガウス仮定が成り立たない場合でも高確率的収束バウンドを導出する。
• 既存の最先端手法に比べて、収束速度が向上した強凸ケースへの拡張を実施する。
• サブ・ガウス尾部仮定に依存しない、新しい証明技術を採用することで、一般の重尾ノイズ下でもclipped SGDに対するバウンドを可能にする。

実験結果

リサーチクエスチョン

• RQ1 勾配クリッピングを用いた加速された確率的最適化法は、重尾確率的勾配ノイズ下でも高確率的収束を達成できるか？
• RQ2 勾配ノイズが重尾である場合に、確率的最適化における最初の非漸近的・高確率的複雑度バウンドは何か？
• RQ3 clipped-SSTMは、重尾ノイズ下での収束速度と耐障害性において、標準的なSGDや他のclippedバージョンと比べてどのように異なるか？
• RQ4 clipped SGDの理論的分析を軽尾仮定を超えて拡張可能か？その結果得られる複雑度バウンドは何か？
• RQ5 加速とクリッピングの組み合わせにより、重尾ノイズ下の強凸ケースにおいて収束速度が向上するか？

主な発見

• clipped-SSTMは、重尾ノイズを伴う確率的最適化における最初の高確率的複雑度バウンドを達成し、理論的理解における大きなギャップを埋めた。
• 実データセット（australian, a9a, w8a）を用いた実験により、重尾設定下で標準的なSGDに比べて振動を著しく低減し、安定性が向上することが示された。
• australianデータセットでは、大きなステップサイズを用いても、clipped-SSTMは標準的なSGDおよび他のclippedバージョンよりも収束安定性と最終的な非最適性の両面で優れている。
• w8aデータセットでは勾配ノイズが重尾的であるため、clipped-SSTMはSGDや他のclippedバージョンよりも優れた性能を示した一方、SSTMはノイズの蓄積に苦しんだ。
• 理論的分析により、clipped-SSTMは重尾ノイズ下の凸および強凸設定の両方で、最適またはほぼ最適の収束速度を達成することが示された。
• 本稿は、軽尾仮定をしない条件下で、clipped SGDに対する最初の非自明な高確率的複雑度バウンドを確立し、クリッピングに基づく手法の適用範囲を拡張した。