[論文レビュー] On the Convergence of SGD with Biased Gradients

Ahmad Ajalloeian, Sebastian U. Stich|arXiv (Cornell University)|Jul 31, 2020

Stochastic Gradient Optimization Techniques参考文献 44被引用数 16

ひとこと要約

本稿は、バイアス付き勾配オラクルを用いた確率的勾配降下法（SGD）の統一的収束解析を提供し、バイアスが勾配ノルムに対して有界である場合、最適解の近傍への収束が達成可能であることを示している。ポリャク＝ロジャシュエヴィッチ（PŁ）条件の下で収束速度が向上し、バイアスの影響が到達可能な精度および収束速度に与える影響を定量的に評価している。本研究は、勾配圧縮やゼロ次最適化といった応用をカバーしている。

ABSTRACT

We analyze the complexity of biased stochastic gradient methods (SGD), where individual updates are corrupted by deterministic, i.e. biased error terms. We derive convergence results for smooth (non-convex) functions and give improved rates under the Polyak-Lojasiewicz condition. We quantify how the magnitude of the bias impacts the attainable accuracy and the convergence rates (sometimes leading to divergence). Our framework covers many applications where either only biased gradient updates are available, or preferred, over unbiased ones for performance reasons. For instance, in the domain of distributed learning, biased gradient compression techniques such as top-k compression have been proposed as a tool to alleviate the communication bottleneck and in derivative-free optimization, only biased gradient estimators can be queried. We discuss a few guiding examples that show the broad applicability of our analysis.

研究の動機と目的

• 勾配圧縮やゼロ次最適化を含む多様な応用分野におけるバイアス付きSGD手法の解析を統一すること。
• バイアス付きSGDが真の最適解に収束するのではなく、近傍に収束する条件を特定すること。
• 非凸最適化におけるバイアスの大きさが収束速度および最終的な到達可能精度に与える影響を定量的に評価すること。
• 滑らかで非凸な関数に対して、ポリャク＝ロジャシュエヴィッチ（PŁ）条件の下で改善された収束速度を提供すること。
• 分散したバイアス付きSGDの解析を統合的に扱える汎用的な理論的枠組みに統合すること。

提案手法

• バイアス付き勾配オラクルをモデル化：$\mathbf{g}_t = \nabla f(\mathbf{x}_t) + \mathbf{b}_t + \mathbf{n}_t$ ここで $\mathbf{b}_t$ は確定的バイアス、$\mathbf{n}_t$ は平均ゼロのノイズ。
• 滑らかで非凸な関数およびポリャク＝ロジャシュエヴィッチ（PŁ）条件の下で収束を分析し、収束速度を導出。
• 相対的バイアスバウンドを導入：真の最適解への収束は、$\|\mathbf{b}_t\| \leq \mathcal{O}(\|\nabla f(\mathbf{x}_t)\|)$ のみで可能。
• バイアスの大きさ $\zeta^2$ およびノイズ分散 $\sigma^2$ に依存する収束速度を導出し、誤差フロアが $\sigma^2 + \zeta^2$ に比例することを示した。
• 具体的な応用例（top-$k$ および random-$k$ の勾配圧縮、スムージングを用いたゼロ次最適化）にフレームワークを適用。
• 理論的解析と合成データおよびディープラーニングベンチマーク（例：CIFAR-10におけるResNet18）における実験的検証を組み合わせ、予測の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 バイアス付き勾配を用いたSGDが真の最適解に収束するのではなく近傍に収束する条件は何か？
• RQ2 非凸最適化におけるバイアスの大きさが収束速度および最終的な到達可能精度に与える影響は何か？
• RQ3 標準的な仮定と比較して、ポリャク＝ロジャシュエヴィッチ（PŁ）条件の下でバイアス付きSGDの収束速度を改善できるか？
• RQ4 top-$k$ 圧縮やゼロ次推定といった特定のバイアス付き勾配手法が、提案されたフレームワーク下でどのように振る舞うか？
• RQ5 実装におけるノイズ分散 $\sigma^2$、バイアス $\zeta^2$ と、結果として得られる誤差フロアの関係は何か？

主な発見

• バイアス付きSGDは、バイアスが勾配ノルムに対して有界である場合にのみ、真の最適解に収束する。すなわち $\|\mathbf{b}_t\| \leq \mathcal{O}(\|\nabla f(\mathbf{x}_t)\|)$ である必要がある。
• この相対的バイアス条件が満たされない場合、SGDは解の近傍に収束し、誤差フロアは $\sigma^2 + \zeta^2$ で決定される。
• ポリャク＝ロジャシュエヴィッチ（PŁ）条件の下では、標準的なSGDの境界よりもタイトな収束速度が導出された。
• top-$k$ および random-$k$ の勾配圧縮において、$k$ が小さくなるほど収束速度が低下し、同じ $k$ に対して top-$k$ が random-$k$ よりも優れている。
• ゼロ次最適化において、誤差フロアは $\mathcal{O}(\tau^2)$ に比例し、理論的予測と一致する。
• ResNet18の学習における実験結果から、top-$k$ 圧縮はフル精度SGDと同等の最終的誤差フロアを達成するが、収束速度は遅い。一方、random-$k$ は圧縮の影響をより強く受ける。