[論文レビュー] D-Cliques: Compensating NonIIDness in Decentralized Federated Learning with Topology.

Aurélien Bellet, Anne-Marie Kermarrec+1 more|arXiv (Cornell University)|Apr 15, 2021

Privacy-Preserving Technologies in Data参考文献 20被引用数 11

ひとこと要約

D-Cliques は、非 IID データ、特にローカルクラスの不均衡に起因する勾配バイアスを軽減するため、ノードを相互に接続されたクリークにグループ化する分散型フェデレーテッドラーニングのトポロジーを提案する。局所的な結合分布をグローバルクラス分布に合わせ、分散型 SGD を適応させることで、完全接続ネットワークと同等の収束速度を達成しながら、1000 ノードの環境でエッジを 98% 減少、メッセージ数を 96% 減少させる。

ABSTRACT

The convergence speed of machine learning models trained with Federated Learning is significantly affected by non-independent and identically distributed (non-IID) data partitions, even more so in a fully decentralized setting without a central server. In this paper, we show that the impact of local class bias, an important type of data non-IIDness, can be significantly reduced by carefully designing the underlying communication topology. We present D-Cliques, a novel topology that reduces gradient bias by grouping nodes in interconnected cliques such that the local joint distribution in a clique is representative of the global class distribution. We also show how to adapt the updates of decentralized SGD to obtain unbiased gradients and implement an effective momentum with D-Cliques. Our empirical evaluation on MNIST and CIFAR10 demonstrates that our approach provides similar convergence speed as a fully-connected topology with a significant reduction in the number of edges and messages. In a 1000-node topology, D-Cliques requires 98% less edges and 96% less total messages, with further possible gains using a small-world topology across cliques.

研究の動機と目的

• ローカルデータ分布がグローバル分布から著しく逸脱する分散型フェデレーテッドラーニングにおける非 IID データの課題に対処すること。
• 分散環境における収束性能の劣化の主な要因であるローカルクラスの不均衡に起因する勾配バイアスを軽減すること。
• 中央サーバーに依存せずに、クリークレベルでグローバルデータ分布の代表性を保つ通信トポロジーを設計すること。
• 提案されたトポロジーを用いて、バイアスのない勾配更新と分散型 SGD における効果的なモーメンタムの実現を可能にすること。
• 完全接続トポロジーと同等のモデル収束速度を維持しながら通信オーバーヘッドを最小限に抑えること。

提案手法

• 各クリークが局所的に代表的な結合データ分布を持つノードを含むように、通信ネットワークを相互に接続されたクリークに構造化する。
• クリーク内のノード間のデータの和集合がグローバルクラス分布に近づくように保証し、局所バイアスを低減する。
• クリークレベルの統計を用いた勾配更新に分散型 SGD を適応させ、非 IID データ下でもバイアスのない最適化を可能にする。
• 局所およびクリークレベルの勾配情報を利用して更新式にモーメンタムを統合し、収束を加速する。
• クリーク間の小世界トポロジーを構築することで、長距離通信コストをさらに低減しつつ接続性を維持する。

実験結果

リサーチクエスチョン

• RQ1 分散型通信トポロジーは、フェデレーテッドラーニングにおけるローカルクラスの不均衡に起因する勾配バイアスを軽減できるか？
• RQ2 完全接続ネットワークと比較して、クリークベースのトポロジーはどの程度通信オーバーヘッドを低減しつつ収束速度を維持できるか？
• RQ3 D-Cliques を用いた分散型 SGD の適応は、非 IID データ下でバイアスのない勾配を達成するのにどの程度効果的か？
• RQ4 小世界トポロジー（例：小世界）のようなクリーク間トポロジーは、大規模な分散型フェデレーテッドラーニングにおける通信効率と収束にどのような影響を与えるか？
• RQ5 D-Cliques は、エッジ数とメッセージ数を大幅に削減しながらも、完全接続トポロジーと同等の性能を維持できるか？

主な発見

• D-Cliques は、完全接続トポロジーと比較して、1000 ノードの分散型ネットワークでエッジ数を 98% 減少させる。
• 同じトレーニング環境下で、送信されたメッセージ総数は完全接続トポロジーと比較して 96% 減少する。
• MNIST および CIFAR10 データセットにおいて、D-Cliques でのモデル収束速度は完全接続トポロジーと同等である。
• クリークベースのトポロジーは、クリーク内での局所的結合分布がグローバルクラス分布を反映するようにすることで、勾配バイアスを効果的に低減する。
• クリーク間で小世界トポロジーを統合することで、収束性能に影響を与えることなく通信効率をさらに向上できる。