[論文レビュー] Beyond spectral gap: The role of the topology in decentralized learning

Thijs Vogels, Hadrien Hendrikx+1 more|arXiv (Cornell University)|Jun 7, 2022

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

この論文は、i.i.d.設定における収束速度がグラフのトポロジー（スペクトルギャップのみにとどまらない）に大きく依存することを示し、分散学習の見直しを試みる。『有効な隣接ノード数』というトポロジー指標を導入し、性能を予測する。これは、スペクトルギャップが悪いにもかかわらずリング構造がスターモデルを上回る理由を説明するとともに、スパース平均化が初期段階から分散を低減することで、より大きな学習率を可能にすることを証明する。

ABSTRACT

In data-parallel optimization of machine learning models, workers collaborate to improve their estimates of the model: more accurate gradients allow them to use larger learning rates and optimize faster. We consider the setting in which all workers sample from the same dataset, and communicate over a sparse graph (decentralized). In this setting, current theory fails to capture important aspects of real-world behavior. First, the 'spectral gap' of the communication graph is not predictive of its empirical performance in (deep) learning. Second, current theory does not explain that collaboration enables larger learning rates than training alone. In fact, it prescribes smaller learning rates, which further decrease as graphs become larger, failing to explain convergence in infinite graphs. This paper aims to paint an accurate picture of sparsely-connected distributed optimization when workers share the same data distribution. We quantify how the graph topology influences convergence in a quadratic toy problem and provide theoretical results for general smooth and (strongly) convex objectives. Our theory matches empirical observations in deep learning, and accurately describes the relative merits of different graph topologies.

研究の動機と目的

• i.i.d.データを用いた分散学習が理論予測よりも速く収束する理由を説明すること、特に大規模またはスパarsなグラフにおいて。
• 現在のスペクトルギャップに基づく理論が、深層学習や凸最適化における実験的性能を予測できない理由を特定すること。
• トポロジーが分散低減と許容可能な最大学習率に与える影響を捉える新しい理論枠組みを構築すること。
• 異なるトポロジーと問題スケールにわたって性能を予測できる新しい指標『有効な隣接ノード数』を導入・検証すること。
• スパース平均化が学習の初期段階から勾配の分散を低減し、より大きな学習率と高速な収束を可能にすることを示すこと。

提案手法

• 異なるグラフトポロジーが分散低減と学習率の上限に与える影響を定量化するため、二次的トロイ問題を分析する。
• 有効な隣接ノード数を推定するための、減衰パラメータγを用いたランダムウォークモデルを提案する。
• グラフラプラシアンの全固有値に依存する滑らかで（強く）凸な目的関数の収束バウンドを導出する。スペクトルギャップのみに依存するのではなく、全スペクトルを考慮する。
• 評価のノイズ低減と損失曲線へのパラメトリックな減衰モデルフィッティングのため、モデルパラメータの指数移動平均（EMA）を用いる。
• モデルチェックポイントからの測定済みおよび予測された共分散行列のMSEを最小化することで、各トポロジーごとに独立にγをキャリブレーションする。
• CIFAR-10およびFashion-MNISTを用いて、各トポロジーに最適化された学習率を調整して、フレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜスペクトルギャップが悪いにもかかわらず、リング構造がスターモデルを上回るのか？
• RQ2 なぜi.i.d.データを用いた分散学習が、理論的予測よりも速く収束するのか、特に大規模または無限大のグラフにおいて？
• RQ3 スペクトルギャップを超えるどのトポロジー指標が、分散最適化における通信グラフの性能を正確に予測できるのか？
• RQ4 スパース平均化は、学習の初期段階からどの程度勾配の分散を低減するのか？その結果、より大きな学習率が可能になるのか？
• RQ5 『有効な隣接ノード数』のような一様な問題に依存しない指標が、多様なトポロジー間の相対的性能を予測できるのか？

主な発見

• サイズが増加するリングでは、学習率が大きくなり、収束が速くなる。これは、スペクトルギャップ理論がサイズ増大に伴い性能低下を予測するのとは対照的である。
• スペクトルギャップがより良いスターモデル（0.0156）は、リング（0.0032）よりも性能が悪く、学習率の制限もきつい。
• 減衰パラメータγを用いたランダムウォークモデルから導出された『有効な隣接ノード数』という指標が、全テストトポロジーにおいてスペクトルギャップを上回る性能予測能力を示す。
• 凸最適化および深層学習の両設定において、スパース平均化が初期段階から勾配の分散を低減し、単独学習よりも顕著に大きな学習率を可能にする。
• フレームワークは相対的性能を正確に予測する：2〜32ワーカーの完全接続グラフは、γをトポロジー間で共有した場合、有効な隣接ノード数指標とよく一致する。
• フィッティングされたγパラメータは、観測された分散低減と強く相関しており、γが不適切（高すぎたり低すぎたり）な場合、モデルの予測力は著しく劣化する。