[論文レビュー] FedLab: A Flexible Federated Learning Framework

Dun Zeng, Siqi Liang+3 more|arXiv (Cornell University)|Jul 24, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 64

ひとこと要約

FedLab は、モジュール性、通信効率、および展開シナリオ全体にわたるアルゴリズムの柔軟性を強調する、柔軟なフェデラテッド学習シミュレーションのための軽量でオープンソースのフレームワークです。

ABSTRACT

Federated learning (FL) is a machine learning field in which researchers try to facilitate model learning process among multiparty without violating privacy protection regulations. Considerable effort has been invested in FL optimization and communication related researches. In this work, we introduce \texttt{FedLab}, a lightweight open-source framework for FL simulation. The design of \texttt{FedLab} focuses on FL algorithm effectiveness and communication efficiency. Also, \texttt{FedLab} is scalable in different deployment scenario. We hope \texttt{FedLab} could provide flexible API as well as reliable baseline implementations, and relieve the burden of implementing novel approaches for researchers in FL community.

研究の動機と目的

• シミュレーションと研究のための、柔軟で軽量な FL フレームワークとして FedLab を紹介する。
• FL アルゴリズムと通信戦略を探求するための高度にカスタマイズ可能なインターフェースを提供する。
• 研究の作業の重複を減らすためのデータ分割ツールと標準的な FL パイプラインを提供する。

提案手法

• モジュール化されたコンポーネント（NetworkManager と Trainer/ParameterServerHandler）を備えた二つの主要な役割（Server と Client）を定義する。
• 同期的および非同期パターンを用いた torch.distributed による柔軟な通信バックエンドを実装する。
• 非 IID 設定をシミュレートするためのデータ分割ユーティリティと NIID/ベースラインデータセットを提供する。
• 実験をスケールさせるために、Standalone、Cross-process、Hierarchical の複数の展開シナリオをサポートする。
• 迅速なプロトタイピングのために、標準的な FL 実装（例: FedAvg、FedAsgd）とサンプルコードを提供する。
• コミュニティ協力のために CI とドキュメントを備えたオープンソースのワークフローを維持する。

実験結果

リサーチクエスチョン

• RQ1 通信を最適化コンポーネントから切り離すことによって、柔軟なフレームワークがFL研究をどのように加速できるか？
• RQ2 異種混在で非 IID の FL データを用いた実験を最も効果的に支援する展開シナリオとデータ分割戦略は何か？
• RQ3 標準的な FL ベースラインとモジュラー API は研究者が新しい FL アルゴリズムを実装する負担を減らせるか？

主な発見

• FedLab は NetworkManager と Trainer/ParameterServerHandler を用いた通信と最適化の分離を実現するモジュラーアーキテクチャを提供する。
• 本フレームワークは同期的および非同期の通信パターンと、多数のクライアントに対するスケーラブルなスケジューリングをサポートする。
• FedLab にはクライアント間で多様なデータ分布をシミュレートするデータ分割ユーティリティと NIID ベンチマークが含まれる。
• 3つの展開シナリオ（Standalone、Cross-process、Hierarchical）は、リソースとネットワーク構成全体にわたる柔軟な実験を可能にする。
• FedLab には標準的な FL ベースライン（例: FedAvg、FedAsgd）と迅速なプロトタイピングを促進するサンプルコードが同梱されている。