[論文レビュー] FLUTE: A Scalable, Extensible Framework for High-Performance Federated Learning Simulations

Mirian Hipolito Garcia, Andre Manoel+4 more|arXiv (Cornell University)|Mar 25, 2022

Privacy-Preserving Technologies in Data被引用数 22

ひとこと要約

FLUTE は、柔軟な API、非同期のサーバー-クライアントアーキテクチャ、他のプラットフォームに対する顕著な速度・メモリ優位性を備えた、高性能・大規模な連合学習シミュレーションのオープンソースプラットフォームです。

ABSTRACT

In this paper we introduce "Federated Learning Utilities and Tools for Experimentation" (FLUTE), a high-performance open-source platform for federated learning research and offline simulations. The goal of FLUTE is to enable rapid prototyping and simulation of new federated learning algorithms at scale, including novel optimization, privacy, and communications strategies. We describe the architecture of FLUTE, enabling arbitrary federated modeling schemes to be realized. We compare the platform with other state-of-the-art platforms and describe available features of FLUTE for experimentation in core areas of active research, such as optimization, privacy, and scalability. A comparison with other established platforms shows speed-ups of up to 42x and savings in memory footprint of 3x. A sample of the platform capabilities is also presented for a range of tasks, as well as other functionality, such as linear scaling for the number of participating clients, and a variety of federated optimizers, including FedAdam, DGA, etcetera.

研究の動機と目的

• スケーラブルなFLアルゴリズムの迅速なプロトタイピングとオフラインシミュレーションを可能にする。
• FLにおける最適化、プライバシー、通信戦略を検証するための柔軟で拡張性のあるフレームワークを提供する。
• 再利用可能な API で、スケール（数百万のクライアント）におけるエンドツーエンドの高性能シミュレーションを実現する。
• 既存のFLシミュレーションプラットフォームとのベンチマークと比較を提供し、性能向上を検証する。

提案手法

• 中央サーバーが多数の非同期ワーカーを調整するサーバークライアントアーキテクチャを採用している。
• 通信基盤として torch.distributed を用いた PyTorch を使用し、メッセージベースのサーバー–ワーカープロトコルを採用している。
• サーバー–クライアント間のトラフィックを最小化するため、ワーカーに訓練データをあらかじめロードし、インデックス、パラメーター、または勾配のみを伝送する。
• FedAvg、FedAdam、FedYogi、DGA など、差分プライバシーや帯域幅対応の勾配圧縮を含むさまざまな連合最適化アルゴリズムを実装している。
• グローバルモデルとローカルモデルの凸結合法による個別化をサポートし、トランスフォーマーモデル用のアダプターを有効にしている。
• 実験追跡とスケーリングのための AzureML との統合を提供するとともに、スタンドアロンの GPU/CPU デプロイメントをサポートしている。

実験結果

リサーチクエスチョン

• RQ1 連合学習シミュレーションを、妥当なターンアラウンドタイムで百万規模のクライアントにスケールさせるにはどうすればよいか？
• RQ2 サーバー–クライアント、非同期処理といったどのアーキテクチャの選択が、FL実験における速度、メモリ使用量、柔軟性の最適なトレードオフをもたらすか？
• RQ3 最新のFL最適化、プライバシー、帯域技術は大規模なオフラインシミュレーションでどのように機能するか？
• RQ4 FLUTEは速度、メモリ使用量、スケーラビリティの観点で既存のFLシミュレーションプラットフォームとどう比較されるか？
• RQ5 非 IID データ下での通信と性能に対する、個別化とアダプター ベースの連合学習トレーニングの影響はどのようなものか？

主な発見

• FLUTE は、2つの主要なFLシミュレーションプラットフォーム（FedMLとFlower）と比較して、最大で 42x の速度改善と約 3x のメモリ節約を達成します。
• このアーキテクチャは、クライアントのその場での自然なインスタンス化と非同期処理を可能にし、ワーカー数とクライアント数を分離して百万単位のクライアントへスケーリングを可能にする。
• GPU上では Flower と比較して FLUTE は最大で 54x 速い。CPU では Gloo バックエンドを備えた FLUTE が Flower より 9x 速い。
• 量子化とスパース化の実験は、特定の設定下で最小限の精度低下で最大 16x の帯域幅利得を示す。
• 全体のトランスフォーマーモデルの連合化ではなくアダプターを連合することで、データ分布（iid 対 non-iid）に依存するが、感情分析タスクで約 121x の帯域節約と同等またはそれ以上の精度を提供できる場合がある。
• このプラットフォームは、FedAvg、FedAdam、DGA、SCAFFOLD、FedProx などの幅広いFL最適化アルゴリズムと、プライバシー・帯域幅強化技術をサポートし、新しいモデルやデータ形式向けの柔軟な API を備えている。