[論文レビュー] Elastic Gossip: Distributing Neural Network Training Using Gossip-like Protocols

Siddharth Pramod|arXiv (Cornell University)|Dec 6, 2018

Reinforcement Learning in Robotics参考文献 23被引用数 4

ひとこと要約

この論文では、非同期的・ペアワイズなパラメータ平均化を可能にする、ニューラルネットワーク学習の分散配布に向けた新しいガッソープロトコル「Elastic Gossip」を提案する。通信オーバーヘッドを低減する。Gossiping SGDの改良版として、動的移動率を組み込み、通信帯域幅を著しく削減しながら、All-reduce SGDと同等の性能を達成している。特にMLPおよびCNNを用いたMNISTおよびCIFAR-10ベンチマークで顕著な効果を示している。

ABSTRACT

Distributing Neural Network training is of particular interest for several reasons including scaling using computing clusters, training at data sources such as IOT devices and edge servers, utilizing underutilized resources across heterogeneous environments, and so on. Most contemporary approaches primarily address scaling using computing clusters and require high network bandwidth and frequent communication. This thesis presents an overview of standard approaches to distribute training and proposes a novel technique involving pairwise-communication using Gossip-like protocols, called Elastic Gossip. This approach builds upon an existing technique known as Elastic Averaging SGD (EASGD), and is similar to another technique called Gossiping SGD which also uses Gossip-like protocols. Elastic Gossip is empirically evaluated against Gossiping SGD using the MNIST digit recognition and CIFAR-10 classification tasks, using commonly used Neural Network architectures spanning Multi-Layer Perceptrons (MLPs) and Convolutional Neural Networks (CNNs). It is found that Elastic Gossip, Gossiping SGD, and All-reduce SGD perform quite comparably, even though the latter entails a substantially higher communication cost. While Elastic Gossip performs better than Gossiping SGD in these experiments, it is possible that a more thorough search over hyper-parameter space, specific to a given application, may yield configurations of Gossiping SGD that work better than Elastic Gossip.

研究の動機と目的

• 大規模かつ異種環境における分散SGDの高い通信コストを解消すること。
• Gossiping SGDのような既存のガッソウベースの学習手法を、動的移動率メカニズムを導入することで改善すること。
• ガッソウに似たプロトコルが、中央集権的なAll-reduce SGDと同等の性能を達成しつつ、ネットワーク帯域幅を最小限に抑えることができるかどうかを評価すること。
• 帯域制限がある、分散型、エッジコンピューティング、またはプライバシーに配慮したシステムにおいて、深層ニューラルネットワークを効率的に学習できるかどうかを検討すること。

提案手法

• Elastic Gossipは、ワーカーがランダムにペアを選び、モデルパラメータを交換・平均化するペアワイズ通信モデルを採用する。
• Elastic Averaging SGD (EASGD)を拡張し、パラメータ平均化の度合いを制御する移動率αを導入することで、適応的収束を可能にする。
• 各ワーカーは局所的なSGD更新を実行し、時々ランダムに選ばれたペアと同期する。ネットワーク混雑を避けるために、通信確率pはベルヌーイ分布に従う。
• 収束を早めるためにネステロフの加速勾配（NAG）を採用し、通信前に同期を保つために共有クロックを用いる。
• アルゴリズムは、局所パラメータとペアのパラメータの重み付き平均を動的に更新し、その重みはαで制御される。
• 通信をトレーニングステップから分離するために確率的トリガー（p）を用いることで、ネットワーク負荷を低減しながらモデルの一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ガッソウに似たプロトコルが、通信オーバーヘッドを著しく低減しながら、All-reduce SGDと同等の学習性能を達成できるか？
• RQ2 Elastic Gossipにおける移動率αが収束速度および最終的なモデル精度に与える影響はいかほどか？
• RQ3 同じハイパーパramータ設定およびデータセット下で、Elastic GossipはGossiping SGDを上回る性能を示すか？
• RQ4 通信確率pおよびワーカー数が、ガッソウベース学習の性能に与える影響は？
• RQ5 帯域制限がある、または異種環境下で、Elastic Gossipはどれほどスケーラブルか？

主な発見

• Elastic Gossipは、MNISTで98.65%、CIFAR-10で87.4%のテスト精度を達成し、All-reduce SGDと同等またはわずかに上回った。
• Elastic Gossipは、すべてのテスト設定でGossiping SGDを上回り、特に通信確率が低い場合に顕著な優位性を示した。
• 最適な移動率αは0.5であった。αが0.1（低）または0.9（高）になると性能が低下した。
• 通信確率pは顕著な影響を及ぼした。pが0.125未満（有効期間τ=8）になると性能が低下し、帯域幅と収束のトレードオフが明確に現れた。
• ペアワイズ通信のみを用いても、Elastic Gossipは、完全な同期と高帯域幅を要するAll-reduce SGDと同等の性能を達成した。
• 結果から、Elastic Gossipは帯域制限がある、または分散型の学習環境において、All-reduce SGDの実用的代替手段であることが示唆された。