[論文レビュー] Client Selection in Federated Learning: Principles, Challenges, and Opportunities

Lei Fu, Huanle Zhang+3 more|arXiv (Cornell University)|Nov 3, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

この論文は、フェデレーテッドラーニング（FL）におけるクライアント選択について包括的なサーベイを提供しており、モデルの正確性、収束速度、公平性を向上させるための原理的で洗練されたアルゴリズムを通じて、システム的・データ的非均質性に対処しています。最近の進展を統合し、主な課題を特定するとともに、実世界のFL展開におけるクライアント選択の最適化のための研究機会を提示しています。

ABSTRACT

As a privacy-preserving paradigm for training Machine Learning (ML) models, Federated Learning (FL) has received tremendous attention from both industry and academia. In a typical FL scenario, clients exhibit significant heterogeneity in terms of data distribution and hardware configurations. Thus, randomly sampling clients in each training round may not fully exploit the local updates from heterogeneous clients, resulting in lower model accuracy, slower convergence rate, degraded fairness, etc. To tackle the FL client heterogeneity problem, various client selection algorithms have been developed, showing promising performance improvement. In this paper, we systematically present recent advances in the emerging field of FL client selection and its challenges and research opportunities. We hope to facilitate practitioners in choosing the most suitable client selection mechanisms for their applications, as well as inspire researchers and newcomers to better understand this exciting research topic.

研究の動機と目的

• クライアントのデータ分布とシステム能力にばらつきがあるフェデレーテッドラーニングにおけるクライアント非均質性という重要な課題に対処する。
• 既存のクライアント選択アルゴリズムを体系的にレビューし、設計原則、パフォーマンスのトレードオフ、制限要因を同定する。
• 現在のクライアント選択手法における理論的保証の欠如と標準化されたベンチマークの不足を強調する。
• 特に大規模かつ動的なFL環境において、公平性、耐障害性、スケーラビリティの分野における研究ギャップを特定する。
• 再現可能なFL研究を促進するため、標準化された評価指標および大規模なオープンテストベッドの開発を提唱する。

提案手法

• システム非均質性（例：計算能力、帯域幅）およびデータ非均質性（例：非IIDデータ）の取り扱いに基づいてクライアント選択アルゴリズムを分類する。
• 2019年から2023年までの14件の代表的論文を分析し、クライアント参加のための明示的なユーティリティ関数とスケジューリング意思決定に焦点を当てる。
• モデルへの貢献度、更新品質、リソース制約を考慮したユーティリティ関数に基づいてクライアント選択を評価するフレームワークを提案する。
• グリーディ、バンディットベース、強化学習、ユーティリティ最適化の4つのアプローチに分類されるクライアント選択戦略を導入する。
• Oort や POWER-OF-CHOICE のような手法が示すように、データとシステムの非均質性を同時に考慮することが重要であることを強調する。
• クライアントの利用可能性、更新の古さ、通信効率を考慮した、適応的かつ動的な選択メカニズムの導入を提唱する。

Figure 1: An illustration of a standard FL training process that incorporates four steps: model parameter download from the server to the clients, local training on the clients, model parameter upload from the clients to the server, and model aggregation on the server.

実験結果

リサーチクエスチョン

• RQ1 FLクライアントにおけるシステム的・データ的非均質性が、モデルの収束、正確性、公平性にどのように影響を与えるか？
• RQ2 既存のFLクライアント選択アルゴリズムにおける主な設計原則とパフォーマンスのトレードオフは何か？
• RQ3 なぜ多くのクライアント選択手法に理論的保証が欠如しているのか、そしてそれが実世界への展開にどのように影響を及えるのか？
• RQ4 現在の評価手法における主な制限要因（指標や実験設定）は何か？
• RQ5 大規模かつオープンなテストベッドおよび標準化されたベンチマークは、クライアント選択研究における再現性と公平性をどのように向上させるか？

主な発見

• クライアント選択は、データ的・システム的非均質性に起因する悪影響を軽減することで、FLのパフォーマンスを顕著に向上させる。
• Oort や POWER-OF-CHOICE のようなアルゴリズムは、データ的・システム的非均質性を統合的にモデル化することで、より速い収束を達成する。
• 多くのクライアント選択手法はヒューリスティックであり、収束速度、正確性、公平性に関する理論的保証が欠如している。
• 最適なクライアント選択基準についての合意形成がなく、文脈に応じてモデルの乖離度が高いクライアントを好む研究もあれば、類似度が高いクライアントを好む研究もある。
• 通信負荷やラウンド時間との相反するトレードオフがあるため、ラウンドごとの正確性や時間ごとの正確性といった既存の評価指標は、相互に比較不能である。
• 再現可能で公平なクライアント選択アルゴリズムのベンチマーク評価を可能にするために、大規模かつオープンなFLテストベッドの構築が急務である。