[論文レビュー] Decentralized gradient methods: does topology matter?

Giovanni Neglia, Chuan Xu+2 more|arXiv (Cornell University)|Feb 28, 2020

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

この論文は、理論的予測が高密度接続トポロジーでの高速収束を支持する一方で、実際のウォールクロックタイムでは疎通接続トポロジーが優れているという矛盾を解明することを目的としている。本研究では、遅延のない通信を想定しても、疎通トポロジーが遅延の大きいワーカーに依存しないため、実用的な収束が速くなるという、改良された収束解析を提案している。

ABSTRACT

Consensus-based distributed optimization methods have recently been advocated as alternatives to parameter server and ring all-reduce paradigms for large scale training of machine learning models. In this case, each worker maintains a local estimate of the optimal parameter vector and iteratively updates it by averaging the estimates obtained from its neighbors, and applying a correction on the basis of its local dataset. While theoretical results suggest that worker communication topology should have strong impact on the number of epochs needed to converge, previous experiments have shown the opposite conclusion. This paper sheds lights on this apparent contradiction and show how sparse topologies can lead to faster convergence even in the absence of communication delays.

研究の動機と目的

• 理論的予測（高密度トポロジーで収束が速い）と実験的観察（さまざまなトポロジーで収束速度に差がない）の矛盾を解消すること。
• 通信負荷を超えて、通信トポロジーが分散最適化における収束速度に与える影響を調査すること。
• 通信コストが無視できる状況でも、環状トポロジーのような疎通トポロジーが完全グラフのような高密度トポロジーを上回るウォールクロックタイムでの性能を示す理由を理解すること。
• ストグラー効果や通信のばらつきといった実用的要因を考慮した、改良された理論的解析を開発すること。
• 実世界の機械学習ワークロードと多様な通信トポロジーを用いた実験を通じて、理論的考察を検証すること。

提案手法

• ネットワークトポロジーを考慮した修正された収束境界を用い、スぺクトラルギャップ、ストグラー効果、通信のばらつきを組み込んだ、改良された収束解析を提案する。
• 反復回数とウォールクロックタイムを分離する新しい収束指標を導入し、トポロジーが実用的パフォーマンスに与える影響を分析可能にする。
• 通信遅延とストグラー効果の影響を考慮した新たな理論的境界（式7）を導出。これは、以前の境界（式8）を改善したものである。
• 複数のデータセット（CT、MNIST、CIFAR-10）を用い、異なるトポロジー（環状、完全グラフ、エクスパander図）と通信パターンを用いて収束を実験的に評価する。
• SparkとASCI Qスーパーコンピュータからの実際の計算時間分布を用い、現実的な通信遅延とストグラー行動をシミュレートする。
• ネットワーク次数やモデルの複雑さを変化させた条件下で、理論的予測と実験結果を比較し、モデルの正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 理論的予測が高密度グラフを支持する一方で、実験的結果が異なるトポロジー間で収束速度に差がないのはなぜか？
• RQ2 通信遅延やストグラー行動は、分散最適化アルゴリズムの実用的パフォーマンスにどの程度影響を及えるか？
• RQ3 通信コストが無視できる状況でも、環状のような疎通トポロジーが完全グラフのような高密度トポロジーをウォールクロックタイムで上回ることは可能か？
• RQ4 ストグラー効果が存在する状況で、ネットワークトポロジーのスぺクトラルギャップと収束速度の関係は何か？
• RQ5 改良された理論的モデルは、多様な機械学習ワークロードとトポロジーにおいて収束行動を正確に予測できるか？

主な発見

• 通信コストが無視できる状況でも、環状のような疎通トポロジーは完全グラフよりもウォールクロックタイムでの収束が速くなる。これは、ストグラーに依存しないためである。
• 新たな理論的境界（式7）は、従来の境界よりも収束行動をより正確に予測する。特にストグラー効果や通信遅延のばらつきが顕著な状況で優れている。
• CTデータセットの実験結果では、環状と完全グラフの収束差が4%以内に収束するまでの反復回数は1〜5回（新モデルの予測）であるが、旧モデルは桁違いに過大評価している。
• MNISTおよびCIFAR-10では、新モデルは収束差が10%以内に収束するまでの反復回数を4〜250回と予測するが、旧モデルは無限回と予測しており、精度の向上が顕著である。
• スぺクトラルギャップだけでは収束速度を予測するには不十分であり、ストグラー効果と通信のばらつきが実用的パフォーマンスにおいて支配的役割を果たす。
• 実験により、新モデルの予測は、SparkとASCI Qという多様なデータセットとハードウェアプラットフォームにおいて、実世界のパフォーマンスとよく一致することが確認された。