[論文レビュー] FedGP: Correlation-Based Active Client Selection for Heterogeneous Federated Learning

Minxue Tang, Xuefei Ning+3 more|arXiv (Cornell University)|Mar 24, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用数 14

ひとこと要約

FedGPは、ガウス過程（GP）モデリングを用いてクライアント間の損失相関を予測することで、非均質なフェデレーテッドラーニングにおける相関に基づくアクティブクライアント選択戦略を提案する。履歴データを活用して通信コストを低減し、予想されるグローバル損失低減を最大化するクライアントを選択することで、最先端のアクティブ選択手法と比較して、FMNISTでは1.3–2.3倍、CIFAR-10では1.2–1.4倍の収束速度向上を達成する。

ABSTRACT

Client-wise heterogeneity is one of the major issues that hinder effective training in federated learning (FL). Since the data distribution on each client may differ dramatically, the client selection strategy can largely influence the convergence rate of the FL process. Several recent studies adopt active client selection strategies. However, they neglect the loss correlations between the clients and achieve marginal improvement compared to the uniform selection strategy. In this work, we propose FedGP -- a federated learning framework built on a correlation-based client selection strategy, to boost the convergence rate of FL. Specifically, we first model the loss correlations between the clients with a Gaussian Process (GP). To make the GP training feasible in the communication-bounded FL process, we develop a GP training method utilizing the historical samples efficiently to reduce the communication cost. Finally, based on the correlations we learned, we derive the client selection with an enlarged reduction of expected global loss in each round. Our experimental results show that compared to the latest active client selection strategy, FedGP can improve the convergence rates by $1.3\sim2.3 imes$ and $1.2\sim1.4 imes$ on FMNIST and CIFAR-10, respectively.

研究の動機と目的

• フェデレーテッドラーニングにおけるクライアントごとのデータ非均質性が収束に与える顕著な障害を解消すること。
• 既存のアクティブクライアント選択戦略がクライアント間の損失相関を無視するという限界を克服すること。
• 通信効率の良い方法でクライアント間損失相関をモデル化し、より優れたクライアント選択を実現する通信効率の良い手法を開発すること。
• 各FLラウンドでグローバル損失の予想される最大低減をもたらすクライアントを選択することで、グローバルモデルの収束を加速すること。
• 非均質なFL設定において、均一選択および先行アクティブ選択戦略と比較して優れた収束性能を達成すること。

提案手法

• クライアントのトレーニング損失間の相関関係をモデル化するため、ガウス過程（GP）を用いることでクライアント間の依存関係を捉える。
• ラウンドトリップ通信オーバーヘッドを最小限に抑えるために、履歴クライアントサンプルを再利用する通信効率の良いGPトレーニング手法を設計する。
• 学習済みのGP相関に基づき、グローバル損失の期待値低減を最大化する最適化問題としてクライアント選択を定式化する。
• 各FLラウンドで、グローバル損失低減への予測寄与度に基づき動的にクライアントを選択し、現在のグローバル損失と高い負の相関を持つクライアントを優先する。
• 標準的なFedAvgや類似アルゴリズムへの最小限の変更で実装可能な、GPベースの選択をFLトレーニングパイプラインに統合する。
• クライアント間の類似性を、その履歴損失パターンとデータ特性に基づいてエンコードするため、GPのカーネル関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 クライアント間の損失相関をモデル化することで、非均質なフェデレーテッドラーニングにおけるより優れたクライアント選択とより速い収束が達成できるか？
• RQ2 通信制約のあるFL環境において、過剰なデータ交換を避けながらガウス過程を効率的にトレーニングできるか？
• RQ3 クライアント間損失相関情報を組み込むことで、均一選択やランダム選択と比較して収束速度が向上するか？
• RQ4 履歴サンプルを活用することで、高品質なクライアント選択を維持しつつ、通信コストをどの程度低減できるか？
• RQ5 収束速度およびモデル精度の観点から、FedGPは最先端のアクティブクライアント選択手法と比較してどの程度優れているか？

主な発見

• FMNISTデータセットでは、最新のアクティブクライアント選択戦略と比較して、FedGPは収束速度を1.3～2.3倍向上する。
• CIFAR-10データセットでは、最先端のアクティブ選択手法と比較して、FedGPは収束速度を1.2～1.4倍向上する。
• GPベースの損失相関モデリングにより、クライアント間相関を無視する戦略と比較して、より効果的なクライアント選択が可能になる。
• 通信効率の良いGPトレーニング手法により、履歴クライアントサンプルの再利用によってオーバーヘッドが低減され、実世界のFL設定におけるスケーラビリティが向上する。
• FedGPは、複数の非均質なデータ分布シナリオにおいて、均一選択および先行アクティブ選択ベースラインを一貫して上回る性能を示す。
• FedGPは、顕著なデータスケイニングと非IIDクライアントデータ分布を伴う環境でも、頑健性とスケーラビリティを示している。