[論文レビュー] FLGo: A Fully Customizable Federated Learning Platform

Zheng Wang, Xiaoliang Fan+7 more|arXiv (Cornell University)|Jun 21, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FLGo は、プラグインベースのアーキテクチャにより高い共有性を実現する軽量で完全にカスタマイズ可能なフェデレーテッドラーニング（FL）プラットフォームであり、標準で 40 以上のベンチマーク、20 以上のアルゴリズム、2 つのシステムシミュレータを提供する。データおよびシステムの非均一性、非同期学習、並列加速やハイパーパramータ自動チューニングなどの実験用ツールをサポートしており、クロスアプリケーションの FL リサーチにおけるカスタマイズの複雑さを顕著に低減する。

ABSTRACT

Federated learning (FL) has found numerous applications in healthcare, finance, and IoT scenarios. Many existing FL frameworks offer a range of benchmarks to evaluate the performance of FL under realistic conditions. However, the process of customizing simulations to accommodate application-specific settings, data heterogeneity, and system heterogeneity typically remains unnecessarily complicated. This creates significant hurdles for traditional ML researchers in exploring the usage of FL, while also compromising the shareability of codes across FL frameworks. To address this issue, we propose a novel lightweight FL platform called FLGo, to facilitate cross-application FL studies with a high degree of shareability. Our platform offers 40+ benchmarks, 20+ algorithms, and 2 system simulators as out-of-the-box plugins. We also provide user-friendly APIs for quickly customizing new plugins that can be readily shared and reused for improved reproducibility. Finally, we develop a range of experimental tools, including parallel acceleration, experiment tracker and analyzer, and parameters auto-tuning. FLGo is maintained at \url{flgo-xmu.github.io}.

研究の動機と目的

• アプリケーション固有の設定、データ非均一性、システム非均一性を想定したフェデレーテッドラーニング（FL）シミュレーションのカスタマイズにおける高い複雑さと低いコード共有性を解消すること。
• ベンチマークやアルゴリズムを提供しているものの、標準化された再利用可能なカスタマイズメカニズムを欠いている既存の FL フレームワークの限界を克服すること。
• 研究者がベンチマーク、アルゴリズム、システムシミュレータ用のカスタムプラグインを簡単に開発・共有・再利用できるようにし、再現性とフレームワーク間連携を向上させること。
• 並列実行、実験追跡、ハイパーパramータチューニングなどのツールを統合した統一された実験環境を提供し、FL 評価の流れを簡素化すること。

提案手法

• 機能の分離と再利用性の向上を目的に、ベンチマーク、アルゴリズム、システムシミュレータを独立したプラグイン可能なコンponentsとして実装する。
• 開発者がローカルでカスタマイズしたプラグインを配布・共有できるプラグインライブラリを設計し、コード再利用とコミュニティ主導の拡張を促進する。
• CIFAR-10、Shakespeare、Reddit などの多様なデータセットと、IID、ディリクレ分布、Louvain などのデータ分布パターンをカバーする 40 以上の標準化されたベンチマークを統合する。
• FedAvg、FedProx、Scaffold、FedNova など 20 以上の FL アルゴリズムをサポートし、学習および集約戦略をカスタマイズ可能に設計する。
• クライアント側の非均一性（可用性、完全性、接続性、応答性）をモデル化するための 2 つのシステムシミュレータを提供する。
• 並列加速、実験追跡・分析ツール、自動ハイパーパramータチューニングなどの実験用ツールを統合し、効率性と再現性を向上させる。

Figure 1: FLGo implements benchmarks, simulators, and algorithms as independent plugins, where developers can download plugins and share locally customized plugins through a plugin library.

実験結果

リサーチクエスチョン

• RQ1 多様なアプリケーションシナリオにおいて、高いカスタマイズ性を維持しつつも高いコード共有性を実現できるフェデレーテッドラーニングプラットフォームを設計できるか？
• RQ2 プラグインベースのアーキテクチャは、FL 実験におけるデータおよびシステム非均一性のシミュレーションの複雑さをどの程度低減できるか？
• RQ3 異なる FL アルゴリズムは、さまざまなデータおよびシステム非均一性の設定下でどの程度の性能を示すか？また、プラットフォームはこのような比較評価をサポートできるか？
• RQ4 非同期学習戦略は、同期手法と比較して、複雑で現実的な非均一性の組み合わせ下で、学習時間コストを顕著に削減できるか？
• RQ5 プラットフォームの拡張性およびツールキットは、クロスアプリケーションの FL リサーチにおける再現性とスケーラビリティをどの程度向上できるか？

主な発見

• 特定のデータセットや非均一性設定において、どの FL アルゴリズムも一貫して優れた性能を発揮するとは限らない。Cora の Louvain 分布では FedAvg が最良の性能を示し、IID データでは Scaffold が優れた性能を発揮した。
• 非 IID データ分布は、IID 条件と比較して、すべてのアルゴリズムにおいてモデル性能を著しく低下させる傾向が見られ、FashionMNIST および Reddit データセットの両方で性能低下が確認された。
• クライアントの可用性非均一性は、モデル性能に顕著な悪影響を及ぼす。特に、データ非均一性と可用性非均一性が同時に存在する場合、最も悪い性能が観測された。
• クライアントの完全性非均一性は、学習効率を低下させる。FedNova は耐障害性を設計上高めているが、FashionMNIST では短いモデル更新が過剰に拡大され、FedAvg や FedProx よりも性能が劣った。
• クライアントの接続性が低下すると、特に Reddit の非 IID 環境では、学習時間コストが顕著に増加した。
• 非 IID 環境下では、非同期学習（FedAsync）は複雑な非均一性下で同期手法と比較して時間コストを削減できるが、同じ回数の集約後では、FedAvg や FedProx よりもモデル性能が劣った。

Figure 2: The main workflow in FLGo.