[論文レビュー] Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data

Hongda Wu, Ping Wang|arXiv (Cornell University)|May 14, 2021

Privacy-Preserving Technologies in Data被引用数 14

ひとこと要約

本稿では、非i.i.d.データにおける収束速度の向上を図るために、グローバルモデルとの勾配整合性に基づいて動的にノードを選択する確率的ノード選択フレームワークであるFedPNSを提案する。最適集約（Optimal Aggregation）を導入し、局所勾配とグローバル勾配の内積解析によって有害な局所更新を除外することで、通信オーバーヘッドを最小限に抑えつつ収束遅延を低減し、モデル精度を向上させる。

ABSTRACT

Federated Learning (FL) is a distributed learning paradigm that enables a large number of resource-limited nodes to collaboratively train a model without data sharing. The non-independent-and-identically-distributed (non-i.i.d.) data samples invoke discrepancies between the global and local objectives, making the FL model slow to converge. In this paper, we proposed Optimal Aggregation algorithm for better aggregation, which finds out the optimal subset of local updates of participating nodes in each global round, by identifying and excluding the adverse local updates via checking the relationship between the local gradient and the global gradient. Then, we proposed a Probabilistic Node Selection framework (FedPNS) to dynamically change the probability for each node to be selected based on the output of Optimal Aggregation. FedPNS can preferentially select nodes that propel faster model convergence. The unbiasedness of the proposed FedPNS design is illustrated and the convergence rate improvement of FedPNS over the commonly adopted Federated Averaging (FedAvg) algorithm is analyzed theoretically. Experimental results demonstrate the effectiveness of FedPNS in accelerating the FL convergence rate, as compared to FedAvg with random node selection.

研究の動機と目的

• 非i.i.d.データ分布下でのフェデレーテッドラーニングにおける収束遅延を解消すること。特に、データの非同一性がモデル更新の偏りを引き起こす要因となること。
• 各ラウンドで参加ノードが均等にグローバルモデル集約に寄与すべきであるという仮定に挑戦すること。
• 収束を加速するために、より好ましい更新をもたらすノードを優先する動的ノード選択戦略を設計すること。
• データの非同一性と集約ダイナミクスを考慮した上で、FedPNSの収束改善を理論的に分析すること。
• 追加のオーバーヘッドなしにサーバー側での確率的選択により、通信コストを最小限に抑えながら収束速度を最大化すること。

提案手法

• 局所勾配とグローバル勾配の内積を計算することで、有害な局所更新を特定・除外するための最適集約（Optimal Aggregation）を提案する。
• 内積を指標として、各局所更新がグローバルモデル改善に寄与する程度を評価する。
• 最適集約の出力をもとに選択確率を調整する確率的ノード選択フレームワーク（FedPNS）を導入する。
• グローバル勾配と整合性の高い局所勾配を持つノードの選択確率を動的に増加させる。
• 理論的分析を通じて、データの非同一性と集約効率を考慮した上で、グローバル損失の期待値低下を境界づける。
• 追加通信を要せず、リソース制限環境でも効率を保つサーバー側選択を実装する。

実験結果

リサーチクエスチョン

• RQ1 グローバル勾配と整合性のない特定の局所更新を除外することで、非i.i.d.データ下でのフェデレーテッドラーニングの収束速度が向上するか？
• RQ2 ノード選択確率をどのように動的に調整すれば、グローバルモデル改善により効果的に寄与するノードを優先できるか？
• RQ3 非i.i.d.データ下で、FedPNSの理論的収束境界はFedAvgと比べてどのように異なるか？
• RQ4 勾配に基づく選択は、フェデレーテッドラーニングにおける収束に必要な通信ラウンド数を削減するか？
• RQ5 サーバー側の選択メカニズムは、通信コストを増加させることなく収束を改善できるか？

主な発見

• FedPNSは、ランダムなノード選択を用いたFedAvgと比較して、目標精度に到達するための通信ラウンド数を顕著に削減し、収束を著しく加速する。
• 最適集約アルゴリズムは、勾配整合性を活用することで、グローバルモデル収束に悪影響を及ける局所更新を効果的に特定・除外する。
• 理論的分析により、FedPNSは高品質な更新に注目することで、1ラウンドあたりのグローバル損失の期待値低下が速くなることが示された。
• グローバル勾配との勾配整合性が高いノードが優先的に選択され、時間経過とともにより効果的なモデル更新が実現される。
• 確率的選択フレームワークは追加通信コストなしにサーバー側で動作し、エッジ環境における効率性を維持する。
• 実験結果により、非i.i.d.データ分布下でFedPNSは収束速度と最終的なモデル精度の両面でFedAvgを上回ることが確認された。