[論文レビュー] Exponential Graph is Provably Efficient for Decentralized Deep Training

Bicheng Ying, Kun Yuan+4 more|arXiv (Cornell University)|Oct 26, 2021

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、分散型ディープラーニング学習のための指数的グラフ（特に静的および1ピア変種）を提案し、1イテレーションあたりの通信量を最小限に抑えつつ、ほぼ正確な平均化を達成することを証明している。1ピア指数的グラフの系列が、1ノードあたり1回の通信しか行わない1イテレーションにおいても正確な平均化を達成できることを示しており、通信コストと収束速度のバランスを取る観点で、すべての一般的なトポロジーを上回っている。

ABSTRACT

Decentralized SGD is an emerging training method for deep learning known for its much less (thus faster) communication per iteration, which relaxes the averaging step in parallel SGD to inexact averaging. The less exact the averaging is, however, the more the total iterations the training needs to take. Therefore, the key to making decentralized SGD efficient is to realize nearly-exact averaging using little communication. This requires a skillful choice of communication topology, which is an under-studied topic in decentralized optimization. In this paper, we study so-called exponential graphs where every node is connected to $O(\log(n))$ neighbors and $n$ is the total number of nodes. This work proves such graphs can lead to both fast communication and effective averaging simultaneously. We also discover that a sequence of $\log(n)$ one-peer exponential graphs, in which each node communicates to one single neighbor per iteration, can together achieve exact averaging. This favorable property enables one-peer exponential graph to average as effective as its static counterpart but communicates more efficiently. We apply these exponential graphs in decentralized (momentum) SGD to obtain the state-of-the-art balance between per-iteration communication and iteration complexity among all commonly-used topologies. Experimental results on a variety of tasks and models demonstrate that decentralized (momentum) SGD over exponential graphs promises both fast and high-quality training. Our code is implemented through BlueFog and available at https://github.com/Bluefog-Lib/NeurIPS2021-Exponential-Graph.

研究の動機と目的

• 1イテレーションあたりの通信コストと収束速度のトレードオフを解消するため、最適な通信トポロジーを設計すること。
• 情報集約が不十分であるため、一時的反復回数が高くなるようなスパarsなトポロジーの限界を克服すること。
• 分散学習における指数的グラフの実験的成功を理論的に裏付けること、特に最小限の通信量で正確な平均化を達成できる能力について。
• 1ピア指数的グラフ（1イテレーションあたり1ノードが1つの隣接ノードにのみ通信する）が、log(n)イテレーションの間に正確な平均化を達成できることを確立すること。これにより、効率的かつスケーラブルな学習が可能になる。

提案手法

• 指数的グラフの2つの変種を提案：静的（各ノードがO(log n)の隣接ノードに接続）および1ピア（各ノードが隣接ノードを順に巡回し、1イテレーションあたり1つのノードにのみ通信）。
• 静的指数的グラフのスぺクトルギャップを理論的に分析し、それがO(1/log₂n)で上界を持つことを証明。これにより、過去のO(1)であるとされた誤った主張を是正した。
• 1ピア指数的グラフの連続するlog₂(n)の系列が、時間変動的かつ1ノードあたり1つの通信リンクしか持たないにもかかわらず、正確な平均化を達成できることを確立。
• 指数的グラフトポロジーを分散（モーメンタム）SGDに適用し、収束を保証するため、対称な重み行列の作成にメトロポリス規則を用いる。
• 実装にはBlueFogを用い、多様なモデルとタスクで性能とスケーラビリティを検証。
• 最大次数と1−ρ（スぺクトルギャップ）といった指標を用いて、リング、グリッド、ランダム、スターアイズなど、標準的なトポロジーと比較。指数的グラフが、通信コストと収束速度のバランスにおいて優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 指数的グラフは、分散型SGDにおいて、1イテレーションあたりの通信量を抑えつつ、高速な収束を達成できるか？
• RQ2 静的指数的グラフの真のスぺクトルギャップは何か？ また、文献における過去の主張（O(1)）と比較するとどうなるか？
• RQ3 1ピア指数的グラフ（1イテレーションあたり1ノードが1つの隣接ノードにのみ通信する）は、時間経過とともに正確な平均化を達成できるか？
• RQ4 指数的グラフの一次的反復複雑度は、分散学習で一般的に使われる他のトポロジーと比較してどうなるか？
• RQ5 分散（モーメンタム）SGDに指数的グラフを適用することで、通信効率と収束速度の観点で最先端の性能が得られるか？

主な発見

• 静的指数的グラフのスぺクトルギャップは、O(1/log₂n)であることが証明され、過去にO(1)であるとされた誤った主張を是正した。
• log₂(n)の1ピア指数的グラフの系列が正確な平均化を達成でき、1イテレーションあたりの通信量が最小限であるにもかかわらず、高い収束効率を実現できる。
• 1ピア指数的グラフトポロジーは、静的指数的グラフと同等の一次的反復複雑度O(n³ log²₂n)を達成しているが、1ノードあたり1つの通信リンクしか使用しない。
• 指数的グラフは、リング、グリッド、ランダム、スターアイズなど、すべての一般的に使われるトポロジーを通信コストと一次的反復複雑度のバランスにおいて上回っている。
• 多様なモデルとタスクにおける実証的結果から、指数的グラフを用いた分散（モーメンタム）SGDが、高速かつ高品質な学習を可能にすることが確認された。
• BlueFogを用いた実装と公開コードのリリースにより、通信コストと収束速度のトレードオフにおいて、本手法が最先端の性能を達成していることが検証された。