[論文レビュー] MDA: Availability-Aware Federated Learning Client Selection

Amin Eslami Abyane, Steve Drew+1 more|arXiv (Cornell University)|Nov 25, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、トレーニングの効率を向上させるためにタイムアウトラウンドを削減し、収束を加速する、最初の可用性に配慮したクライアント選択戦略であるMDAを提案する。クライアントの可用性履歴を選択意思決定に組み込むことで、通常のランダム選択と比較してトレーニング時間を最大6.5%短縮し、リソースに配慮した手法（例：TiFL）と組み合わせることでさらに最大16%の向上を達成する。

ABSTRACT

Recently, a new distributed learning scheme called Federated Learning (FL) has been introduced. FL is designed so that server never collects user-owned data meaning it is great at preserving privacy. FL's process starts with the server sending a model to clients, then the clients train that model using their data and send the updated model back to the server. Afterward, the server aggregates all the updates and modifies the global model. This process is repeated until the model converges. This study focuses on an FL setting called cross-device FL, which trains based on a large number of clients. Since many devices may be unavailable in cross-device FL, and communication between the server and all clients is extremely costly, only a fraction of clients gets selected for training at each round. In vanilla FL, clients are selected randomly, which results in an acceptable accuracy but is not ideal from the overall training time perspective, since some clients are slow and can cause some training rounds to be slow. If only fast clients get selected the learning would speed up, but it will be biased toward only the fast clients' data, and the accuracy degrades. Consequently, new client selection techniques have been proposed to improve the training time by considering individual clients' resources and speed. This paper introduces the first availability-aware selection strategy called MDA. The results show that our approach makes learning faster than vanilla FL by up to 6.5%. Moreover, we show that resource heterogeneity-aware techniques are effective but can become even better when combined with our approach, making it faster than the state-of-the-art selectors by up to 16%. Lastly, our approach selects more unique clients for training compared to client selectors that only select fast clients, which reduces our technique's bias.

研究の動機と目的

• 信頼性の低いエッジデバイスがトレーニングラウンドを停止させる可能性があるクロスデバイスフェデレーテッドラーニングにおけるクライアント可用性の重要な課題に対処する。
• フェデレーテッドラーニングにおける通常のランダムクライアント選択が、クライアントの可用性とリソースの非均一性の両方を考慮していないため、非効率なトレーニングとタイムアウトの増加を引き起こすことを特定する。
• MDA（Must Detect the Availability）を提案する。これは、過去の可用性に基づいて優先度を付けることで、トレーニング中における障害を低減することを目的とした、最初のクライアント選択戦略である。
• 可用性に配慮した選択とリソースに配慮した選択（例：TiFL）を組み合わせることで、最先端技術を上回る性能が得られ、収束速度が向上することを実証する。
• より多様なクライアントを含める選択により、速いデバイスや高可用性デバイスに偏らない公平性とモデルの正確性を向上させる。

提案手法

• 10万件の実世界のモバイルデバイストレースからの歴史的稼働時間データを用いて、クライアントの可用性をモデル化し、将来の可用性を予測する。
• 高い歴史的可用性と十分な計算能力を持つクライアントを優先するクライアント選択関数を導入する。
• CIFAR-10およびFEMNISTデータセットを用いたクロスデバイスFLのシミュレーションを、可用性条件（高、平均、低）を変えてFedMLフレームワークにMDAを統合して実施する。
• 制御されたシミュレーション環境下で、MDAを通常のランダム選択および最先端の選択器（FedCS、TiFL、Oort、RBCS-F、Power-of-Choice）と比較する。
• MDAとTiFLを組み合わせてハイブリッド選択器（TiFL-MDA）を構築し、可用性とリソース効率の両方を最適化する。
• タイムアウトメカニズムを用いてトレーニングの信頼性を測定し、応答しないクライアントによる失敗ラウンドの数を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 クライアント可用性の変動は、クロスデバイスフェデレーテッドラーニングにおけるトレーニング時間とモデル精度にどのような影響を与えるか？
• RQ2 可用性に配慮したクライアント選択戦略は、ランダム選択と比較して失敗ラウンドの数を減らし、収束速度を向上させることができるか？
• RQ3 MDAは、既存の最先端のリソースに配慮したクライアント選択技術と比較して、トレーニング効率と信頼性において優れているか？
• RQ4 可用性認識とリソース非均一性認識を組み合わせることで、トレーニングパフォーマンスはどの程度さらに向上するか？
• RQ5 MDAは、速いクライアントのみに偏る戦略と比較して、より多様なクライアントの選択を実現し、バイアスを低減するか？

主な発見

• 低可用性環境では、高可用性環境と比較してトレーニングが最大10%遅くなり、モデル精度が最大5%低下する。
• 通常のランダム選択と比較して、MDAはトレーニング時間を最大6.5%短縮し、タイムアウトラウンドの数を最大38%削減する。
• 最先端のTiFL手法は、リソース効率に重点を置いているため、MDA単体よりも最大60%のトレーニング時間短縮を達成する。
• MDAとTiFLを組み合わせた（TiFL-MDA）は、TiFL単体よりも16%のトレーニング速度向上を達成し、評価されたすべての技術の中で最も高速なクライアント選択器である。
• MDAは、速いクライアントに偏る戦略と比較して、より多様なクライアントのセットを選択し、モデル更新におけるバイアスを低減し、公平性を向上させる。
• 可用性履歴は、トレーニングの信頼性において重要な要因である。これを無視すると、実世界のエッジ環境で顕著なパフォーマンス低下が生じる。