[論文レビュー] Refined Convergence and Topology Learning for Decentralized SGD with Heterogeneous Data

Batiste Le Bars, Aurélien Bellet+3 more|arXiv (Cornell University)|Apr 9, 2022

Stochastic Gradient Optimization Techniques参考文献 49被引用数 6

ひとこと要約

本論文は、データの非イ.i.i.d.性下におけるD-SGD収束に影響を与える主要因として、近隣ノードの非均質性を提示し、Frank-Wolfe最適化を用いたデータ依存型トポロジー学習手法を提案することで、この量を最小化する。この手法により、バイアスと混合性のバランスを取ったスパースで適応的なトポロジーを構築することで、通信コストを低く抑えながら収束を高速化し、合成的および実世界の実験においてランダムおよび固定トポロジーを上回る性能を発揮する。

ABSTRACT

One of the key challenges in decentralized and federated learning is to design algorithms that efficiently deal with highly heterogeneous data distributions across agents. In this paper, we revisit the analysis of the popular Decentralized Stochastic Gradient Descent algorithm (D-SGD) under data heterogeneity. We exhibit the key role played by a new quantity, called neighborhood heterogeneity, on the convergence rate of D-SGD. By coupling the communication topology and the heterogeneity, our analysis sheds light on the poorly understood interplay between these two concepts. We then argue that neighborhood heterogeneity provides a natural criterion to learn data-dependent topologies that reduce (and can even eliminate) the otherwise detrimental effect of data heterogeneity on the convergence time of D-SGD. For the important case of classification with label skew, we formulate the problem of learning such a good topology as a tractable optimization problem that we solve with a Frank-Wolfe algorithm. As illustrated over a set of simulated and real-world experiments, our approach provides a principled way to design a sparse topology that balances the convergence speed and the per-iteration communication costs of D-SGD under data heterogeneity.

研究の動機と目的

• 分散型SGDにおけるデータの非均質性の課題に取り組むこと。これは、良好なスぺクトルギャップ特性が存在するにもかかわらず収束性能が低下するためである。
• 近隣ノードの非均質性を新たな理論的要因として同定・形式化し、D-SGDにおける収束速度の駆動要因とすること。
• 近隣ノードの非均質性を最小化するとともに、スパarsityを用いた通信コストを制御するトポロジー学習手法を設計すること。
• 固定またはランダムトポロジーの代替として、原理的かつデータ依存的な分散学習のための代替手法を提供すること。
• 学習済みトポロジーがラベルスケイウィングやその他の非均質性パターン下で、収束速度と一般化性能を向上させることを実証的に検証すること。

提案手法

• グローバル勾配と局所的近隣集約勾配の期待値のずれを測る新たな指標として、近隣ノードの非均質性を導入する。
• 次数制約下で近隣ノードの非均質性を最小化するという、取り扱いやすい最適化問題にトポロジー学習問題を再定式化する。
• Frank-Wolfeアルゴリズムを用い、近隣ノードの非均質性を最も低減させるエッジを段階的に追加することで、スパースなトポロジーを貪欲に構築する。
• ハイパーパrameter λ を用いたバイアス-バリアンストレードオフの目的関数を採用し、学習プロセスにおける収束バイアスとバリアンスのバランスを取る。
• ノード間のデータ分布が非常に非イ.i.i.d.であるラベルスケイウィングを伴う分類タスクに本手法を適用する。
• 学習トポロジーの最大次数 d_max を制約することで、1イテレーションあたりの通信コストを制御する。

実験結果

リサーチクエスチョン

• RQ1 データの非均質性下における分散型SGDの収束速度に、近隣ノードの非均質性がどのように影響を与えるか？
• RQ2 データ依存型通信トポロジーを学習することで、データの非均質性がD-SGD収束に与える悪影響を軽減できるか？
• RQ3 次数制限付きスパーストポロジーは、完全接続型ネットワークの収束速度にどの程度近づけるか？
• RQ4 Frank-Wolfeベースのトポロジー学習手法は、ランダムまたは固定トポロジーと比較して、収束性および通信コストの面でどの程度優れているか？
• RQ5 ハイパーパrameter λ や d_max が学習済みトポロジーの性能に与える影響は何か？

主な発見

• 提案された STL-FW トポロジーは、特に高いラベルスケイウィング下で、ランダムな d-正則グラフと比較して近隣ノードの非均質性を最大99%まで低減する。
• d_max = 10 の場合、STL-FW トポロジーは完全接続型グラフと同等の収束速度を達成しながら、低い通信コストを維持する。
• CIFAR10 において d_max = 10 の場合、バイアスはほぼゼロ（0.001 ± 0.001）に抑えられ、D-Cliques やランダムトポロジーを著しく上回る。
• ハイパーパrameter λ は収束速度にほとんど影響を及ぼさず、チューニングを要せず、デフォルト値（例：λ = 0.1）をそのまま使用可能である。
• トポロジーの最初の10エッジが性能向上の大部分を占め、d_max = 10 を超えると効果の逓減が顕著になる。
• STL-FW トポロジーは良好な混合性（低 1−p）を維持しており、D-Cliques のようなクラスタ型トポロジーが示す劣悪な混合性を回避する。