[論文レビュー] FedML: A Research Library and Benchmark for Federated Machine Learning

Chaoyang He, Songze Li+18 more|arXiv (Cornell University)|Jul 27, 2020

Privacy-Preserving Technologies in Data参考文献 151被引用数 357

ひとこと要約

FedMLは、フェデレーテッドラーニングのオープンな研究ライブラリとベンチマークを提供し、多様な計算パラダイム、柔軟なトポロジー、標準化されたベースライン、実機ハードウェアのテストベッドをサポートして、公正な比較とFL研究の迅速な反復を可能にします。

ABSTRACT

Federated learning (FL) is a rapidly growing research field in machine learning. However, existing FL libraries cannot adequately support diverse algorithmic development; inconsistent dataset and model usage make fair algorithm comparison challenging. In this work, we introduce FedML, an open research library and benchmark to facilitate FL algorithm development and fair performance comparison. FedML supports three computing paradigms: on-device training for edge devices, distributed computing, and single-machine simulation. FedML also promotes diverse algorithmic research with flexible and generic API design and comprehensive reference baseline implementations (optimizer, models, and datasets). We hope FedML could provide an efficient and reproducible means for developing and evaluating FL algorithms that would benefit the FL research community. We maintain the source code, documents, and user community at https://fedml.ai.

研究の動機と目的

• 多様なトポロジー、データ分布、学習手順に対応する柔軟でマルチパラダイムな FL ライブラリの不足に対処する。
• 公正な性能比較を可能にする標準化されたアルゴリズム実装とベンチマークを提供する。
• 実デバイス上、分散、そして単一マシンのFLシミュレーションをサポートし、実践的な研究ニーズを網羅する。
• システムレベルのFL性能を評価するための実機ハードウェアテスト（モバイルおよびIoT）の促進。
• 広範なFL研究領域に向けたコミュニティ貢献とデータセットを歓迎する、開かれた進化的プラットフォームの育成。

提案手法

• FedMLを、計算パラダイム全体にわたるFLアルゴリズム開発と公正な評価のためのエンドツーエンドツールキットとして導入する。
• 2つの主要コンポーネント、FedML-core（低レベル）とFedML-API（高レベル）を用いたアーキテクチャを説明する。
• 多様なネットワークトポロジーと柔軟なメッセージフローを可能にするワーカー指向のプログラミングインターフェースとともに、TopologyManagerを説明する。
• 実機上に構築されたon-device FLテストベッド（FedML-MobileとFedML-IoT）について詳述する。
• 定義されたデータセット、モデル、非IID分割を含む標準化されたベースラインとベンチマークを提示し、公正な比較を可能にする。
• 暗号プリミティブと頑健な集約法を含むプライバシー、セキュリティ、頑健性APIのサポートを概説する。

実験結果

リサーチクエスチョン

• RQ1 多様な計算パラダイムとトポロジーをサポートする柔軟なライブラリを通じて、FL研究をどう加速できるか？
• RQ2 標準化されたアルゴリズム実装とベンチマークは、非IID分布や異なるデータセット間で公正な性能比較を可能にするか？
• RQ3 ハードウェア現実味のあるon-device FLテストベッドがトレーニング効率とスケーラビリティに与える影響は何か？
• RQ4 モジュール式で拡張性のあるフレームワークにおいて、FedMLはプライバシー、セキュリティ、頑健性をどう組み込むことができるか？

主な発見

• FedMLは3つのパラダイム（オンデバイス学習、分散計算、単一マシンシミュレーション）をエンドツーエンドでサポートする。
• FedMLは、勾配とモデルを超えた柔軟なメッセージフローとトポロジーのカスタマイズを可能にするワーカー指向のプログラミングモデルを導入する。
• 標準化されたベースライン（例：FedAvg、Decentralized FL、Vertical FL、Split Learning、FedNAS）は、公正な比較と再現性を促進するために含まれている。
• ベンチマークデータセットと分割方法は、線形、浅層、深層ニューラルネットワーク間で一貫した公正な評価を保証するように明示的に定義されている。
• 実験は、非IID設定がIIDと比べて精度を低下させること、そして分散計算が大規模CNNでスタンドアローンシミュレーションよりも大幅なトレーニング時間の利点を提供することを示している。