[論文レビュー] Oort: Efficient Federated Learning via Guided Participant Selection

Fan Lai, Xiangfeng Zhu+2 more|arXiv (Cornell University)|Oct 12, 2020

Privacy-Preserving Technologies in Data参考文献 68被引用数 47

ひとこと要約

Oortは、ガイド付き参加者選択を用いた連合学習を導入し、高ユーティリティで速い参加者を優先することで時間対精度とテスト効率を向上させつつ、開発者のテスト基準とプライバシーを尊重します。

ABSTRACT

Federated Learning (FL) is an emerging direction in distributed machine learning (ML) that enables in-situ model training and testing on edge data. Despite having the same end goals as traditional ML, FL executions differ significantly in scale, spanning thousands to millions of participating devices. As a result, data characteristics and device capabilities vary widely across clients. Yet, existing efforts randomly select FL participants, which leads to poor model and system efficiency. In this paper, we propose Oort to improve the performance of federated training and testing with guided participant selection. With an aim to improve time-to-accuracy performance in model training, Oort prioritizes the use of those clients who have both data that offers the greatest utility in improving model accuracy and the capability to run training quickly. To enable FL developers to interpret their results in model testing, Oort enforces their requirements on the distribution of participant data while improving the duration of federated testing by cherry-picking clients. Our evaluation shows that, compared to existing participant selection mechanisms, Oort improves time-to-accuracy performance by 1.2x-14.1x and final model accuracy by 1.3%-9.8%, while efficiently enforcing developer-specified model testing criteria at the scale of millions of clients.

研究の動機と目的

• 大規模な連合学習におけるランダムな参加者選択による非効率性を動機づけ、対処する。
• 訓練の統計的有用性とシステム速度の両方を最適化する参加者を選択するフレームワークを開発する。
• 連合テスト中に開発者が指定したデータ分布基準をスケールで効率的に適用・強制する。
• ユーティリティ推定と参加者ユーティリティの外れ値・遅延に対するロバスト性、クライアントのプライバシーを尊重する。

提案手法

• 局所トレーニング損失とデータサイズに基づく実用的な近似を用いてクライアント統計的ユーティリティを定義する。
• 統計的有用性とシステム効率の両方をバランスさせる組み合わせユーティリティを定式化し、ラウンド持続時間を適応させるペーサを組み込む。
• スケールで高ユーティリティ参加者を選択するオンラインの探索- exploitation戦略（バンディット風）を提案し、遅延と外れ値を処理する。
• 訓練選択子：時間対精度を改善する訓練選択子と、連合テスト中のデータ分布基準を適用するテスト選択子の2つを提供する。
• PySyftと統合し、現実世界のFLワークロードで最先端手法と比較して改善を定量化する。

実験結果

リサーチクエスチョン

• RQ1 統計的有用性とシステム速度のバランスを取りながら、時間対精度を最大化するようにFLの参加者を選択するにはどうすればよいか？
• RQ2 生データを開示せずに、スケールで連合テスト中に開発者が指定したデータ分布基準を効率的に適用・強制するにはどうすればよいか？
• RQ3 FLにおける訓練およびテストのための参加者ユーティリティを推定する際に、プライバシーをどのように守ることができるか？
• RQ4 ユーティリティの遅延と外れ値をスケーラブルで堅牢な方法で処理するには？
• RQ5 既存の選択手法と比較して、Oortのアプローチは訓練の時間対精度と最終モデルの精度を改善できるか？

主な発見

• Time-to-accuracy improvements of 1.2x to 14.1x over existing selection methods for federated training.
• Final model accuracy improvements of 1.3% to 9.8% over baselines.
• Federated testing duration reduced by about 4.7x on average when enforcing developer-specified data distributions.
• Oort achieves close to upper-bound statistical performance while scaling to millions of clients.
• The framework supports diverse criteria (e.g., fairness) and maintains privacy through aggregate/noisy utility, with robust performance under noisy signals.