[論文レビュー] A Guide Through the Zoo of Biased SGD

Yury Demidovich, Grigory Malinovsky+2 more|arXiv (Cornell University)|May 25, 2023

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本論文は、バイアス付き勾配推定器を用いた確率的勾配降下法（SGD）を分析する統一的理論枠組みを導入し、既存の仮定の間の関係を確立し、すべての先行仮定を包含する、より弱い新しい条件のセットを提案する。凸および非凸設定の両方でタイトな収束保証を提供し、特に通信制約下やブラックボックス最適化の状況において、バイアス付き推定器が無作為推定器を上回る実用的利点を示している。

ABSTRACT

Stochastic Gradient Descent (SGD) is arguably the most important single algorithm in modern machine learning. Although SGD with unbiased gradient estimators has been studied extensively over at least half a century, SGD variants relying on biased estimators are rare. Nevertheless, there has been an increased interest in this topic in recent years. However, existing literature on SGD with biased estimators (BiasedSGD) lacks coherence since each new paper relies on a different set of assumptions, without any clear understanding of how they are connected, which may lead to confusion. We address this gap by establishing connections among the existing assumptions, and presenting a comprehensive map of the underlying relationships. Additionally, we introduce a new set of assumptions that is provably weaker than all previous assumptions, and use it to present a thorough analysis of BiasedSGD in both convex and non-convex settings, offering advantages over previous results. We also provide examples where biased estimators outperform their unbiased counterparts or where unbiased versions are simply not available. Finally, we demonstrate the effectiveness of our framework through experimental results that validate our theoretical findings.

研究の動機と目的

• バイアス付きSGDの既存理論的分析に見られる一貫性の欠如、すなわち独立した仮定に依存する問題に対処すること。
• バイアス付き勾配推定器に関する先行仮定の間の関係を包括的にマップすること。
• すべての先行仮定を包含するが、証明可能に弱い新しい仮定のセットを提案すること。
• 凸および非凸設定の両方におけるバイアス付きSGDのタイトな収束および複雑度バウンドを提供すること。
• 実世界のシナリオにおいて、バイアス付き推定器が無作為推定器を上回る実証的利点を示すこと。

提案手法

• すべての先行仮定よりも厳密に弱い新しい仮定クラスを導入すること。
• 数学的証明を用いて、既存の仮定クラス（例：有界バイアス、コントラクト型、絶対的圧縮）の間の明示的関係を確立すること。
• 標準的手法（リャプノフ関数、ヤングの不等式など）を用いて、新しい仮定クラス下でのバイアス付きSGDの収束速度を導出すること。
• スパarsified勾配、量子化更新、ゼロ次最適化法などの特定のバイアス付き推定器を分析するためにフレームワークを適用すること。
• 誤差フィードバック機構および圧縮演算子を用いて、実用的な通信効率の良い学習をモデル化すること。
• 深層学習およびブラックボックス最適化タスクにおける実験を通じて、理論的発見の妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 既存のバイアス付き勾配推定器に関する仮定どうしの関係は何か？ それらは単一の理論的枠組みで統一可能か？
• RQ2 すべての先行仮定を包含しつつも、収束を保証するより弱い新しい仮定を定式化できるか？
• RQ3 どのような状況でバイアス付き推定器が無作為推定器を上回るのか？ その理由は何か？
• RQ4 新しい仮定下で、非凸および凸設定におけるバイアス付きSGDの最もタイトな収束レートは何か？
• RQ5 提案された枠組みは、量子化SGDやゼロ次最適化といった実用的技法の成功を説明できるか？

主な発見

• 提案された仮定クラスは、すべての先行仮定よりも厳密に弱く、より広範な適用可能性とタイトな収束解析を可能にする。
• フレームワークにより、特に圧縮を伴う状況では、バイアス付き推定器が無作為推定器よりも優れた収束レートを達成できることを証明した。
• 分散学習で一般的に用いられるスパース化および量子化勾配推定器は、新しい仮定を満たしており、したがって同じ条件下で収束が保証される。
• 誤差フィードバックを用いたゼロ次最適化法は、新しい枠組みの下で形式的に正当化され、ブラックボックス最適化におけるその実証的成功を説明できる。
• 実験結果により、誤差フィードバックを用いたバイアス付きSGDの変種が、深層学習タスクにおける収束速度および最終的精度の面で、無作為ベースラインを上回ることが確認された。
• 理論的解析により、新しい仮定下でのバイアス付きSGDの最悪ケース複雑度が、既存のバウンドと同等またはそれを上回ることが示された。