[論文レビュー] Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

Yae Jee Cho, Jianyu Wang+1 more|arXiv (Cornell University)|Oct 2, 2020

Privacy-Preserving Technologies in Data被引用数 221

ひとこと要約

バイアスのあるクライアント選択をフェデレーテッド学習に導入し、局所損失の焦点を高めると収束が加速されることを示し、速度、バイアス、オーバーヘッドのバランスを取る Power-of-choice とバリアントを提案する。

ABSTRACT

Federated learning is a distributed optimization paradigm that enables a large number of resource-limited client nodes to cooperatively train a model without data sharing. Several works have analyzed the convergence of federated learning by accounting of data heterogeneity, communication and computation limitations, and partial client participation. However, they assume unbiased client participation, where clients are selected at random or in proportion of their data sizes. In this paper, we present the first convergence analysis of federated optimization for biased client selection strategies, and quantify how the selection bias affects convergence speed. We reveal that biasing client selection towards clients with higher local loss achieves faster error convergence. Using this insight, we propose Power-of-Choice, a communication- and computation-efficient client selection framework that can flexibly span the trade-off between convergence speed and solution bias. Our experiments demonstrate that Power-of-Choice strategies converge up to 3 $\ imes$ faster and give $10$% higher test accuracy than the baseline random selection.

研究の動機と目的

• データの非一様性と部分参加の下で、バイアスのあるクライアント選択がFedAvgの収束に与える影響を動機づけ、分析する。
• 高損失クライアントの選択が収束速度に与える影響を定量化する。
• 収束速度・バイアス・通信/計算コストのトレードオフを行う Power-of-Choice クライアント選択フレームワークを提案する。
• 利得を犠牲にせず計算・通信オーバーヘッドを削減する実用的なバリアントを開発する。
• 人工二次問題、人工ロジスティック回帰、非IID FMNISTデータを用いた実験を通じてアプローチを検証する。

提案手法

• 部分的なクライアント参加と unbiased vs biased クライアント選択を用いた FedAvg を定式化する。
• 標準的な滑らか性、強凸性、勾配有界性の仮定の下で収束解析を導出する。
• 局所-グローバル目的ギャップと選択スキュー指標を導入し、異質性とバイアスの影響を捉える。
• Power-of-Choice (pi_pow-d) を提案し、d 個のクライアントの候補集合を選択し、その集合から損失が最も高いものを選ぶ。
• 計算と通信を削減する実用的なバリアント(pi_cpow-d, pi_rpow-d) を提示し、局所損失の近似を含む。
• 二次最適化、合成ロジスティック回帰、非IID FMNIST での実験的評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 部分参加を伴うフェデレーテッドアベレージングにおいて、バイアスのあるクライアント選択は収束速度と最終解のバイアスにどう影響するか？
• RQ2 高損失クライアントを選択して収束を加速できるか、過度なバイアスやオーバーヘッドを伴わずに？
• RQ3 異質性下での選択スキュー（収束速度）と解のバイアスのトレードオフはどのようなものか？
• RQ4 Power-of-Choice の実用的なバリアントは、通信・計算コストを削減しつつ利得を維持できるか？
• RQ5 提案手法は、合成データおよび実データに近い非 IID フェデレーテッドデータでどのように機能するか？

主な発見

• 局所損失が高い方向へバイアスされたクライアント選択は、無偏・ランダム選択と比較して収束を加速できる。
• 収束速度は選択スキュー・パラメータに比例してスケーリングし、学習率が減衰する場合には O(1/(T * ρ̄)) を達成する。
• バイアスを導入すると非消失のバイアス項が生じ、ρ̃/ρ̄ の比率で制御される。経験的にはこのバイアスは小さくなり得る。
• Power-of-Choice (pi_pow-d) は実験でランダム選択と比較して最大で約3倍の収束速度と約10%のテスト精度向上をもたらす。
• 候補集合のサイズdを増やすと収束速度は上がるが最終的なバイアスが大きくなる可能性がある。実用バリアントはコストを抑えつつ利得を維持する。
• バリアント pi_cpow-d および pi_rpow-d はさらに計算・通信を削減し、実験では競争力のあるまたは優れた精度を示す。
• 二次問題、合成フェデレーテッドデータ、非IID FMNIST の実験は、ベースラインより一貫した加速と精度向上を示す。