[論文レビュー] SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum

Jianyu Wang, Vinayak Tantia+2 more|arXiv (Cornell University)|Oct 1, 2019

Stochastic Gradient Optimization Techniques参考文献 42被引用数 68

ひとこと要約

SlowMo は、ベースの分散最適化手法（例：Local SGD、SGP）の上に置く一般的な遅 momentum フレームワークで、通信を大幅に増やさずに最適化と汎化を改善します。滑らかな非凸目的関数に対する収束保証を達成し、精度はベース手法と同等またはそれを上回りつつ、効率性を維持します。

ABSTRACT

Distributed optimization is essential for training large models on large datasets. Multiple approaches have been proposed to reduce the communication overhead in distributed training, such as synchronizing only after performing multiple local SGD steps, and decentralized methods (e.g., using gossip algorithms) to decouple communications among workers. Although these methods run faster than AllReduce-based methods, which use blocking communication before every update, the resulting models may be less accurate after the same number of updates. Inspired by the BMUF method of Chen & Huo (2016), we propose a slow momentum (SlowMo) framework, where workers periodically synchronize and perform a momentum update, after multiple iterations of a base optimization algorithm. Experiments on image classification and machine translation tasks demonstrate that SlowMo consistently yields improvements in optimization and generalization performance relative to the base optimizer, even when the additional overhead is amortized over many updates so that the SlowMo runtime is on par with that of the base optimizer. We provide theoretical convergence guarantees showing that SlowMo converges to a stationary point of smooth non-convex losses. Since BMUF can be expressed through the SlowMo framework, our results also correspond to the first theoretical convergence guarantees for BMUF.

研究の動機と目的

• 分布最適化における通信オーバーヘッドを削減しつつ、モデルの精度を維持または向上させる。
• 定期的な同期とモーメント更新により、SGD、SGP などの基盤最適化手法を強化する統一的な SlowMo フレームワークを提供する。
• 滑らかな非凸目的関数に対する SlowMo の理論的収束保証を提供する。
• 複数のタスクにわたる画像分類と神経機械翻訳で経験的な向上を示す。

提案手法

• ワーカーは通信の間に tau ローカルステップの間、基盤オプティマイザを実行します。
• tau ステップ後、ワーカーは AllReduce によりパラメータを平均化して x_{t,τ} を形成します。
• 遅いモーメント更新を適用します： u_{t+1} = β u_t + (1/γ_t)(x_{t,0} - x_{t,τ}).
• 外部更新: x_{t+1,0} = x_{t,0} - α γ_t u_{t+1} を用いてモーメントを伝搬させます。
• SlowMo 更新は、パラメータを適切に選ぶことで BMUF、Local SGD、Lookahead を特別な場合として復元できます。
• 標準仮定の下、滑らかな非凸損失の定常点への収束率を O(1/√(m T τ)) で示す理論結果。

実験結果

リサーチクエスチョン

• RQ1 SlowMo は、通信効率を維持しつつ、異なる基盤分散最適化手法（例：SGP、Local SGD、BMUF など）全体で一貫して最適化と汎化を改善しますか。
• RQ2 滑らかな非凸目的関数に対する SlowMo の収束保証は何で、パラメータ（τ、α、β）は性能にどう影響しますか。
• RQ3 AR-SGD、SGP、OSGP などのベースラインと比較して、SlowMo は大規模なビジョンと言語タスクでどのように性能を発揮しますか。
• RQ4 SGP-SlowMo-noaverage のように正確な平均化を削除した SlowMo の変種が、性能と通信に与える影響はどうなりますか。
• RQ5 τ の選択が、タスク全体での速度-精度のトレードオフとモデルのドリフトにどう影響しますか。

主な発見

• SlowMo は、SGP、OSGP、Local SGD などの基盤最適化手法と組み合わせた場合、CIFAR-10、ImageNet、WMT’16 En-De の訓練損失と妥当性指標（検証精度/ BLEU）を一貫して改善します。
• CIFAR-10 では、SlowMo と SGP/OSGP/Local SGD はベース手法に比べ検証精度を最大で約 0.8–1.5 ポイント改善します。
• ImageNet では、Local SGD で 69.94% から 73.24%、OSGP で 74.96% から 75.54%（SGP 使用時）と、1回のイテレーションあたりの時間を同等に保ちながら精度を向上。
• WMT’16 En-De では、Local Adam/SGP のベースラインに対して BLEU をそれぞれ 26.62/26.92 から 27.14/27.84 に改善。
• SlowMo は収束速度を O(1/√(m T τ)) に達成し、記載条件の下でワーカー数と共に線形のスピードアップを提供します。
• 正確な平均化ステップを削除する変種（SGP-SlowMo-noaverage）が存在し、同様の性能を達成することから、モーメントバッファの同期が主な利得を生み出していることを示唆します。