[論文レビュー] FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning

Minxue Tang, Xuefei Ning+5 more|arXiv (Cornell University)|Mar 24, 2021

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

FedCorは、非同一データ分布のフェデレーテッドラーニングにおいて、ガウス過程（GP）を用いてクライアント損失の相関をモデル化することで、1ラウンドあたりの期待されるグローバル損失を最小化する相関に基づくアクティブクライアント選択戦略を提案する。共分散定常性を活用することでGPの学習を効率化し、SOTA手法と比較してFMNISTでは収束を34–99%、CIFAR-10では26–51%高速化した。

ABSTRACT

Client-wise data heterogeneity is one of the major issues that hinder effective training in federated learning (FL). Since the data distribution on each client may vary dramatically, the client selection strategy can significantly influence the convergence rate of the FL process. Active client selection strategies are popularly proposed in recent studies. However, they neglect the loss correlations between the clients and achieve only marginal improvement compared to the uniform selection strategy. In this work, we propose FedCor -- an FL framework built on a correlation-based client selection strategy, to boost the convergence rate of FL. Specifically, we first model the loss correlations between the clients with a Gaussian Process (GP). Based on the GP model, we derive a client selection strategy with a significant reduction of expected global loss in each round. Besides, we develop an efficient GP training method with a low communication overhead in the FL scenario by utilizing the covariance stationarity. Our experimental results show that compared to the state-of-the-art method, FedCorr can improve the convergence rates by $34\%\sim 99\%$ and $26\%\sim 51\%$ on FMNIST and CIFAR-10, respectively.

研究の動機と目的

• フェデレーテッドラーニングにおけるクライアントごとのデータ非同一性が収束性とモデル精度を低下させることに対処する。
• クライアント損失を独立して扱う従来のアクティブクライアント選択戦略の限界を克服する。
• クライアント間の損失相関を考慮した選択法を構築し、収束速度を向上させる。
• FLに適した低通信コストの効率的なGP学習手法を設計する。
• 非IIDおよび不均衡データ設定において、学習の安定化と著しい収束加速を実現する。

提案手法

• クライアント損失の変化をガウス過程（GP）でモデル化し、クライアント間の相関を捉える。
• GPに基づく予測を活用して、期待されるグローバル損失を最小化するクライアント選択戦略を定式化する。
• 共分散定常性を活用し、ラウンド間で共分散行列を再利用することでGP学習コストを削減する。
• 選択されたクライアント同士の依存関係を考慮した逐次的クライアント選択プロセスを実装する。
• 選択確率にアニーリングを適用し、時間経過に伴う探索と活用のバランスを取る。
• 損失変化分布の正規性と安定性を保証するため、均一にサンプリングされたクライアント選択を用いてGPを学習する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間の損失相関をモデル化することで、非同一データ分布のフェデレーテッドラーニングにおける収束をより速くできるか？
• RQ2 独立な選択と比較して、GPベースのクライアント選択戦略は、期待されるグローバル損失をどのようにより効果的に低減できるか？
• RQ3 FLの学習において、共分散定常性はどの程度成立しており、効率的なGP推論を可能にするか？
• RQ4 ハイパーパrameter（例：GP学習間隔やアニーリング係数）への感受性はどの程度か？
• RQ5 均一選択や損失に基づく選択と比較して、相関に配慮した選択戦略は収束速度と最終精度の両面で優れているか？

主な発見

• FedCorは、SOTA手法と比較してFMNISTにおいて収束速度を34–99%向上させた。
• CIFAR-10では、既存のアプローチと比較して収束速度に26–51%の改善を達成した。
• 本手法はハイパーパrameterに対して頑健である：アニーリング係数βの変更が収束性や最終精度にほとんど影響を与えない。
• 正規性および共分散定常性の検定により、GPモデルがクライアント損失の相関を正確に捉えていることが検証された。
• 連続する共分散行列間の類似度が0.9以上であるため、共分散定常性が成立しており、効率的なGP更新が可能である。
• 相関に配慮した逐次的選択は、均一なランダム選択を上回り、クライアントの組み合わせが個々のクライアントの品質よりも重要であることを実証した。