[論文レビュー] Decentralized SGD with Asynchronous, Local and Quantized Updates

Giorgi Nadiradze, Amirmojtaba Sabour+4 more|arXiv (Cornell University)|May 4, 2021

Stochastic Gradient Optimization Techniques参考文献 40被引用数 5

ひとこと要約

本稿では、最小限の調整で大規模ニューラルネットワーク学習をスケーリングするため、非同期的・局所的・量子化された更新を統合する分散型SGDアルゴリズムを提案する。標準的な仮定の下で収束性を証明し、実用的なスケーラビリティと、先行手法を上回るか同等の精度を示している。

ABSTRACT

The ability to scale distributed optimization to large node counts has been one of the main enablers of recent progress in machine learning. To this end, several techniques have been explored, such as asynchronous, quantized and decentralized communication--which significantly reduce the impact of communication and synchronization, as well as the ability for nodes to perform several local model updates before communicating--which reduces the frequency of communication. In this paper, we show that these techniques, which have so far largely been considered independently, can be jointly leveraged to minimize distribution cost for training neural network models via stochastic gradient descent (SGD). We consider a setting with minimal coordination: we have a large number of nodes on a communication graph, each with a local subset of data, performing independent SGD updates onto their local models. After some number of local updates, each node chooses an interaction partner uniformly at random from its neighbors, and averages a (possibly quantized) version of its local model with the neighbor's model. Our first contribution is in proving that, even under such a relaxed setting, SGD can still be guaranteed to converge under standard assumptions. The proof is based on a new connection with parallel load-balancing processes, and improves existing techniques by handling decentralization, asynchrony, quantization, and local updates, into a single framework, and bounding their impact. On the practical side, we implement variants of our algorithm and deploy them onto distributed environments, and show that they can successfully converge and scale for large-scale neural network training tasks, matching or even slightly improving the accuracy of previous methods.

研究の動機と目的

• 最小限の調整で、大規模ノード数を対象とした分散型ディープラーニング学習のスケーリングに取り組む。
• 非同期更新、局所的モデル最適化、通信量子化を1つの分散型フレームワークに統合する。
• 収束性を損なわずに、大規模ニューラルネットワーク学習における通信および同期のオーバーヘッドを低減する。
• 緩い調整、非同期性、量子化、局所的更新を伴う分散型SGDの理論的収束保証を確立する。
• 大規模モデル学習における実際の分散環境での、提案手法の実効性を示す。

提案手法

• ノードは、通信を行う前に、自身のローカルデータサブセットに対して独立して局所的SGD更新を実行する。
• 固定回数の局所的更新の後、各ノードは通信グラフ内のランダムに選ばれた隣接ノードとモデルパラメータを交換する。
• 交換されたモデルパラメータは平均化され、通信コストを低減するために、モデルの量子化版上で平均化が実行される。
• アルゴリズムは完全に分散型に動作し、中央のパラメータサーバーやグローバルな同期が不要である。
• 理論的分析により、更新プロセスと並列負荷分散ダイナミクスを結びつけることで、分散化、非同期性、量子化、局所的更新の影響を制限する。
• フレームワークは任意の通信グラフをサポートし、決定論的および確率的量子化方式の両方を処理できる。

実験結果

リサーチクエスチョン

• RQ1 非同期的・局所的・量子化された更新を伴う分散型SGDは、標準的な仮定の下でも収束を保証できるか？
• RQ2 分散化、非同期性、量子化、局所的更新が、SGDの収束行動にどのように影響を与えるか？
• RQ3 これらの技術を1つの統合フレームワークに組み合わせた場合の理論的影響は何か？
• RQ4 提案手法は、中央集権的調整なしに、実際の大規模ニューラルネットワーク学習において効果的にスケーリングできるか？
• RQ5 提案手法の精度と収束速度は、既存の中央集権的または部分的に中央集権的な手法と比べてどうか？

主な発見

• 非同期的・局所的・量子化された更新を伴う提案された分散型SGDアルゴリズムは、非凸最適化の標準的仮定のもとで収束性が保証される。
• 理論的分析により、更新ダイナミクスと並列負荷分散プロセスの新しい関連性が確立され、収束誤差の tighter な境界が得られる。
• 任意の通信グラフ、ランダムな隣接ノード選択、量子化通信を伴っても、収束が達成可能である。
• 実験的評価により、アルゴリズムが分散環境で効果的にスケーリングされ、先行手法と同等またはわずかに高い精度を達成することが示された。
• 通信コストと同期のオーバーヘッドを大幅に低減しながら、学習効率とモデルパフォーマンスを維持している。