[論文レビュー] FedScale: Benchmarking Model and System Performance of Federated Learning

Fan Lai, Yinwei Dai+2 more|arXiv (Cornell University)|May 24, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用数 13

ひとこと要約

FedScaleは、画像分類、物体検出、自然言語処理、音声認識、強化学習を含む、画像分類、物体検出、NLP、音声認識、強化学習をカバーする大規模かつ現実的なフェデレーテッドラーニング（FL）データセットの包括的なベンチマークスイートを提供するとともに、再現可能でスケーラブルなFL研究を可能にする標準化された評価プラットフォームを備えています。このプラットフォームは、柔軟なアルゴリズム実装を可能にし、システム効率と統計的効率の異種性に配慮した共同最適化における顕著な機会を明らかにします。

ABSTRACT

We present FedScale, a diverse set of challenging and realistic benchmark datasets to facilitate scalable, comprehensive, and reproducible federated learning (FL) research. FedScale datasets are large-scale, encompassing a diverse range of important FL tasks, such as image classification, object detection, language modeling, speech recognition, and reinforcement learning. For each dataset, we provide a unified evaluation protocol using realistic data splits and evaluation metrics. To meet the pressing need for reproducing realistic FL at scale, we have also built an efficient evaluation platform to simplify and standardize the process of FL experimental setup and model evaluation. Our evaluation platform provides flexible APIs to implement new FL algorithms and includes new execution backends with minimal developer efforts. Finally, we perform indepth benchmark experiments on these datasets. Our experiments suggest fruitful opportunities in heterogeneity-aware co-optimizations of the system and statistical efficiency under realistic FL characteristics. FedScale is open-source with permissive licenses and actively maintained,1 and we welcome feedback and contributions from the community.

研究の動機と目的

• 多様なMLタスクにわたる、標準化され、大規模かつ現実的なフェデレーテッドラーニングベンチマークの不足に対処すること。
• 統一されたデータ分割と評価指標を提供することで、再現可能でスケーラブルなFL研究を可能にすること。
• 効率的で拡張性のある評価プラットフォームと柔軟なAPIを備えることで、FL実験の構築にかかるエンジニアリングの負荷を軽減すること。
• 現実的なFL環境下でのシステム効率と統計的パフォーマンスの間の共同最適化の機会を同定および探求すること。
• 積極的なメンテナンスを伴う許容性の高いオープンソースライセンスでFedScaleをリリースすることで、コミュニティ主導の開発を促進すること。

提案手法

• FedScaleは、画像分類、物体検出、言語モデリング、音声認識、強化学習の5つの主要なFLタスクをカバーする多様な大規模データセットを構築する。
• 各データセットは、現実世界のクライントデータ分布を反映するため、現実的で非IID（独立同分布でない）なデータ分割を設計している。
• 統一された評価プロトコルを確立し、すべてのタスクとモデルにおいて一貫した指標とトレーニング手順を規定する。
• 新しいFLアルゴリズムや実行バックエンドの統合を容易にするために、柔軟なAPIを備えた拡張可能な評価プラットフォームを実装する。
• 最小限の開発者作業で複数の実行バックエンドをサポートし、効率的で再現可能な実験を可能にする。
• すべてのデータセットにおいてベンチマーク実験を実施し、現実的なFL特性下でのシステム効率と統計的パフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるフェデレーテッドラーニングアルゴリズムは、多様で大規模かつ現実的なデータセットにおいて、正確性と収束速度の観点でどのように性能を発揮するか？
• RQ2 現実的なデータおよびシステムの異種性下でフェデレーテッドラーニングをスケーリングする際の、システム効率と統計的パフォーマンスにおける主なボトルネックは何か？
• RQ3 システム効率と統計的パフォーマンスの共同最適化は、現実的な環境下で全体のFLパフォーマンスをどの程度向上させ得るか？
• RQ4 標準化され、現実的なデータ分割下で評価された場合、既存のFLアルゴリズムは異なる種類のFLタスクにどの程度一般化できるか？
• RQ5 データの異種性は、FLにおけるシステム効率と統計的効率のパフォーマンストレードオフをどのように規定するか？

主な発見

• FedScaleは、多様なFLタスクにわたる再現可能で標準化されたベンチマーク評価を可能にし、実験のセットアップ複雑さを顕著に軽減する。
• ベンチマークは、特に現実的なデータおよびシステムの異種性下では、システム効率と統計的効率が強く相関していることを明らかにした。
• 異種性に配慮したシステムとモデルコンponentsの共同最適化は、収束速度とモデルの正確性の観点で測定可能な改善をもたらした。
• 評価プラットフォームは、新しいFLアルゴリズムの実装とテストにかかる開発者の負荷を軽減し、研究の反復を加速した。
• FedScaleのオープンソース性は、コミュニティの貢献と長期的な保守性を促進し、将来的な研究におけるその有用性を高めた。