[論文レビュー] Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data

Tao Lin, Sai Praneeth Karimireddy+2 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 80被引用数 14

ひとこと要約

本稿では、追加の通信を伴わずにグローバルモーメンタムを局所的に近似することで、非同一データ下でも学習を安定化する、新しいモーメンタムベースの分散最適化手法であるQuasi-Global Momentum (QG-DSGDm-N) を提案する。CIFAR-10、ImageNet、AG Newsの各データセットにおいて、高い非同一データ度（non-i.i.i.d.）下でも、先行手法に比べ1–20%高いテスト精度を達成し、分散ディープラーニングにおける一般化性能を顕著に向上させる。

ABSTRACT

Decentralized training of deep learning models is a key element for enabling data privacy and on-device learning over networks. In realistic learning scenarios, the presence of heterogeneity across different clients' local datasets poses an optimization challenge and may severely deteriorate the generalization performance. In this paper, we investigate and identify the limitation of several decentralized optimization algorithms for different degrees of data heterogeneity. We propose a novel momentum-based method to mitigate this decentralized training difficulty. We show in extensive empirical experiments on various CV/NLP datasets (CIFAR-10, ImageNet, and AG News) and several network topologies (Ring and Social Network) that our method is much more robust to the heterogeneity of clients' data than other existing methods, by a significant improvement in test performance ($1\% \!-\! 20\%$). Our code is publicly available.

研究の動機と目的

• クライアント間でデータが非同一である場合に生じる一般化性能の劣化と収束の不安定性という、分散ディープラーニングにおける課題に対処すること。
• 既存のモーメンタム付き分散SGD（DSGDm）が、高い非同一データ度（non-i.i.i.d.）条件下でなぜ失敗するのかを解明すること。
• 通信コストを増加させることなく、最適化の安定性を高め、非同一データセットにおける一般化性能を向上させる通信効率の良い手法を開発すること。
• 異なるネットワークトポロジーとデータ分布の設定において、準グローバルモーメンタムが既存の分散手法を上回ることを実証すること。

提案手法

• グローバルモーメンタムの局所的近似として、Quasi-Global（QG）モーメンタムを提案し、グローバル同期を伴わずに最適化の安定性を向上させる。
• QG-DSGDm-Nを導入し、局所的なモーメンタムバッファを維持するとともに、近隣ノードの情報を利用してグローバルモーメンタムの方向を近似する。
• 局所勾配と一貫性に基づくモーメンタム推定値を組み込んだ修正された更新ルールを採用し、学習軌道の安定化を図る。
• 完全なグローバル同期の高コストを回避するため、近隣のモデル状態を用いてグローバルモーメンタムベクトルの局所的近似を実施する。
• SGDおよびAdam最適化手法の両方へ適用し、異なる最適化領域における有効性を検証する。
• 多様な実験設定に耐えうるよう、学習率およびモーメンタム係数を実験的にチューニングする。

実験結果

リサーチクエスチョン

• RQ1 データの非同一性は、モーメンタム付き分散SGDの収束性および一般化性能にどのように影響を与えるか？
• RQ2 高い非同一データ度（non-i.i.i.d.）下では、なぜ局所的モーメンタムが一般化性能の向上に寄与しないのか？
• RQ3 通信負荷を増加させることなく、グローバルモーメンタムの局所的近似が最適化の安定性およびテスト精度を向上させられるか？
• RQ4 非同一データ下で、QG-DSGDm-NはD² や勾配追跡といった最先端の分散手法と比較してどのように性能を発揮するか？
• RQ5 準グローバルモーメンタムは、異なるネットワークトポロジーおよびモデルアーキテクチャに一般化可能か？

主な発見

• α=1（中程度の非同一データ度）のCIFAR-10では、QG-DSGDm-Nが91.28%のトップ-1精度を達成し、DSGDm-N（89.98%）およびDSGD（88.88%）を上回る。
• α=0.1（極めて非同一なデータ度）の設定下では、QG-DSGDm-Nが82.20%の精度を達成し、DSGD（74.55%）に対して7.65%、DSGDm-N（77.48%）に対して4.72%の改善を示す。
• より大きなリングトポロジー（n=32）でも、QG-DSGDm-Nはα=0.1の条件下で85.19%の精度を達成し、DSGD（77.56%）およびDSGDm-N（80.59%）を顕著に上回る。
• AG NewsのNLPタスクにおいて、DistilBERTを用いたQG-DAdamはα=0.1で88.33%の精度を達成し、DAdam（87.29%）に対して1.04%の向上を示す。
• 本手法は、CIFAR-10、ImageNet、AG Newsといった多様なデータセット、リング型およびソーシャルネットワーク型の異なるネットワークトポロジー、非同一データ度（α=10, 1, 0.1）の設定において、一貫して性能を向上させる。
• アブレーションスタディの結果、追加通信コストなしに、局所的モーメンタム、同期バッファ、勾配共有と比較して、QGモーメンタムが顕著な性能向上をもたらすことが確認された。