[論文レビュー] Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection

Guangyuan Shen, Dehong Gao+5 more|arXiv (Cornell University)|Jan 15, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、通信効率の良いフェデレーテッドラーニングにおけるクライアントの非同一性に起因するモデル更新の分散を低減するため、非同一なフェデレーテッドラーニングにおいて階層化されたクライアント選択手法を提案する。ローカルデータ分布に基づいてクライアントをグループ化し、各階層ごとのサンプル割り当てを最適化することで、限られたサンプリング比のもとで最先端の手法を上回る性能を達成する。

ABSTRACT

Client selection strategies are widely adopted to handle the communication-efficient problem in recent studies of Federated Learning (FL). However, due to the large variance of the selected subset's update, prior selection approaches with a limited sampling ratio cannot perform well on convergence and accuracy in heterogeneous FL. To address this problem, in this paper, we propose a novel stratified client selection scheme to reduce the variance for the pursuit of better convergence and higher accuracy. Specifically, to mitigate the impact of heterogeneity, we develop stratification based on clients' local data distribution to derive approximate homogeneous strata for better selection in each stratum. Concentrating on a limited sampling ratio scenario, we next present an optimized sample size allocation scheme by considering the diversity of stratum's variability, with the promise of further variance reduction. Theoretically, we elaborate the explicit relation among different selection schemes with regard to variance, under heterogeneous settings, we demonstrate the effectiveness of our selection scheme. Experimental results confirm that our approach not only allows for better performance relative to state-of-the-art methods but also is compatible with prevalent FL algorithms.

研究の動機と目的

• 通信効率の良いフェデレーテッドラーニングにおけるクライアントの非同一性に起因するモデル更新の高い分散という課題に対処すること。
• サンプリング比が限られている状況下で、先行手法が性能を発揮できない状況においても、収束性と正確性を向上させること。
• ローカルデータ分布に基づいて近似的に均質な階層を形成することで、データ分布の非同一性を考慮したクライアント選択戦略を開発すること。
• 階層ごとのばらつきを考慮し、全体の分散を最小化するように、階層間でのサンプルサイズの最適割り当てを最適化すること。
• 理論的および実験的に、非同一なフェデレーテッドラーニング環境下での提案手法の優位性を検証すること。

提案手法

• クライアントのローカルデータ分布に基づいて、概ね均質なグループ（階層）を形成するため、クライアントを階層化する。
• 固定された総サンプリング比のもとで、分散最小化の目的関数を用いて、階層間での最適なサンプルサイズ割り当てを導出する。
• 階層固有の分散推定値を用いて割り当てをガイドし、ばらつきが大きい階層に対してはより大きなサンプル数を割り当てることで、全体の更新分散を低減する。
• アーキテクチャの変更を要せず、既存のフェデレーテッドラーニングアルゴリズムと統合可能である。
• 理論的分析により、非同一データ下でのさまざまな選択戦略における明示的な分散バウンズを確立する。
• 標準的なフェデレーテッドラーニングのトレーニングパイプラインと互換性があり、即座に統合可能なプラグアンドプレイの展開が可能である。

実験結果

リサーチクエスチョン

• RQ1 限られたサンプリング比のもとで、クライアント選択の分散が非同一なフェデレーテッドラーニングにおける収束性と正確性にどのように影響するか？
• RQ2 ローカルデータ分布に基づいてクライアントを階層化することで、フェデレーテッドラーニングにおけるモデル更新の分散を低減できるか？
• RQ3 非同一な階層間で全体の選択分散を最小化する最適なサンプルサイズ割り当て戦略は何か？
• RQ4 提案手法は、既存のクライアント選択戦略と比較して、収束速度および最終的な正確性において優れているか？
• RQ5 提案手法は、標準的なフェデレーテッドラーニングアルゴリズムとどの程度互換性があるか？

主な発見

• 提案された階層化クライアント選択手法は、非同一なフェデレーテッドラーニングにおいて、均一およびランダム選択戦略と比較して更新分散を低減する。
• 階層間での最適なサンプルサイズ割り当てにより、収束速度が向上し、最終的なモデル正確性も向上する。
• 同じサンプリング比のもとで、最先端のクライアント選択ベースラインを上回る性能を達成する。
• 理論的分析により、非同一データ下で提案手法が、既存の選択方法よりも低い分散を達成することが確認された。
• 実験結果により、複数の標準的なフェデレーテッドラーニングアルゴリズムおよびベンチマークデータセットにおいて、相互運用性と一貫した性能向上が示された。