[論文レビュー] Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets.

Sai Aparna Aketi, Amandeep Singh+1 more|arXiv (Cornell University)|Feb 10, 2021

Privacy-Preserving Technologies in Data参考文献 14被引用数 4

ひとこと要約

本稿では、非IIDデータを伴う方向性で時間変化するピアツーピアグラフを対象とした、通信量とエネルギー消費が少ない分散型トレーニングアルゴリズムであるSparse-Push (SP) とSkew-Compensated Sparse Push (SCSP) を提案する。ResNet-20およびVGG11におけるCIFAR-10上での実験で、通信量を最大466倍削減しながら精度の低下をたった1%に抑え、SCSPは非IIDデータにおける圧縮による性能低下を回復する。

ABSTRACT

Current deep learning (DL) systems rely on a centralized computing paradigm which limits the amount of available training data, increases system latency, and adds privacy and security constraints. On-device learning, enabled by decentralized and distributed training of DL models over peer-to-peer wirelessly connected edge devices, not only alleviate the above limitations but also enable next-gen applications that need DL models to continuously interact and learn from their environment. However, this necessitates the development of novel training algorithms that train DL models over time-varying and directed peer-to-peer graph structures while minimizing the amount of communication between the devices and also being resilient to non-IID data distributions. In this work we propose, Sparse-Push, a communication efficient decentralized distributed training algorithm that supports training over peer-to-peer, directed, and time-varying graph topologies. The proposed algorithm enables 466x reduction in communication with only 1% degradation in performance when training various DL models such as ResNet-20 and VGG11 over the CIFAR-10 dataset. Further, we demonstrate how communication compression can lead to significant performance degradation in-case of non-IID datasets, and propose Skew-Compensated Sparse Push algorithm that recovers this performance drop while maintaining similar levels of communication compression.

研究の動機と目的

• エッジAIアプリケーションにおける高い通信コスト、遅延、プライバシーリスクを抱える集中型ディープラーニングの限界を克服すること。
• エッジデバイスに分散配置された非IIDデータ分布に強く耐性を持つ分散型トレーニングアルゴリズムを開発すること。
• 時間変化する方向性のあるピアツーピアグラフ上での分散型トレーニングにおける通信量とエネルギー消費を最小限に抑えること。
• 非IID環境下で通信圧縮が引き起こす性能低下を回復可能にすること。
• 各デバイスのメモリと計算負荷を低減することで、スマートフォンやドローンなどのリソース制約のあるデバイスでもオンデバイストレーニングを可能にすること。

提案手法

• 方向性で時間変化するグラフ上で、トップ-Kスパース化とプッシュサムベースの平均化を用いた通信効率の高い分散型最適化アルゴリズムであるSparse-Push (SP) を提案する。
• 非IIDデータにおける圧縮による性能低下を補償するため、スパース化重みを動的に調整するSkew-Compensated Sparse Push (SCSP) を導入する。
• 接続が非対称的で、かつ双方向ストキャスティックでない方向性グラフにおいても、コンSENSUSを維持するためプッシュサムプロトコルを活用する。
• 最大絶対値を持つ勾配やモデル更新のみを送信することで、通信量を削減するトップ-Kスパース化を適用する。
• ネットワークトポロジーの全体像を事前に把握する必要がないため、各ノードが自らの通信スケジュールと接続先を制御できる分散型トレーニングフレームワークを採用する。
• 将来の拡張において、時間変化する接続性に耐性を持ち、非同期更新をサポートできるようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 方向性で時間変化するピアツーピアグラフ上での分散型トレーニングアルゴリズムは、通信量を著しく削減しながらも高いモデル精度を達成できるか？
• RQ2 非IIDデータ分布下での分散型学習において、通信圧縮はモデル性能にどのように影響を与えるか？
• RQ3 非IIDデータにおける圧縮による性能低下は、通信効率を犠牲にせずに回復可能か？
• RQ4 エッジデバイスにおける分散型トレーニングにおいて、通信コストとエネルギー消費をどの程度まで削減できるか？
• RQ5 提案されたアルゴリズムは、CIFAR-100のようなより大きなモデルやデータセットに対してもスケーラブルか？

主な発見

• Sparse-Pushは、CIFAR-10上でResNet-20およびVGG11をトレーニングする際、通信量を最大466倍削減しながらも、精度の低下をたった1%に抑えている。
• ResNet-110を用いたCIFAR-100上では、SCSPがベースライン圧縮比に対して1.62%の精度向上を達成し、通信量を438倍削減した。
• 非IIDデータにおいて通信圧縮は顕著な性能低下を引き起こし、VGG11では0.1%のスパース化で精度が92.09%から88.81%に低下した。
• SCSPは性能低下を回復させ、0.1%スパース化下でVGG11の精度を89.99%まで回復させ、ベースラインの88.81%を上回った。
• 16デバイスでの分散トレーニングにより、CIFAR-10上でのResNet-20の1デバイスあたりのメモリ使用量は243MBから20.3MBに、計算量は5.24GFlopsから0.33GFlopsに削減された。
• SCSPアルゴリズムは、通信圧縮比を最大467倍に保ちながらも、モデル精度を完全通信ベースラインから1%以内に維持した。