[論文レビュー] Flower: A Friendly Federated Learning Research Framework

Daniel J. Beutel, Taner Topal+9 more|arXiv (Cornell University)|Jul 28, 2020

Privacy-Preserving Technologies in Data参考文献 31被引用数 107

ひとこと要約

Flowerは、実機デバイスとシミュレーションの両方で大規模コホート実験を可能にする、スケーラブルでフレームワーク非依存のFLフレームワークで、異質性のサポートとセキュアな集約を提供します。

ABSTRACT

Federated Learning (FL) has emerged as a promising technique for edge devices to collaboratively learn a shared prediction model, while keeping their training data on the device, thereby decoupling the ability to do machine learning from the need to store the data in the cloud. However, FL is difficult to implement realistically, both in terms of scale and systems heterogeneity. Although there are a number of research frameworks available to simulate FL algorithms, they do not support the study of scalable FL workloads on heterogeneous edge devices. In this paper, we present Flower -- a comprehensive FL framework that distinguishes itself from existing platforms by offering new facilities to execute large-scale FL experiments and consider richly heterogeneous FL device scenarios. Our experiments show Flower can perform FL experiments up to 15M in client size using only a pair of high-end GPUs. Researchers can then seamlessly migrate experiments to real devices to examine other parts of the design space. We believe Flower provides the community with a critical new tool for FL study and development.

研究の動機と目的

• 実世界の異質性とスケールを反映する、スケーラブルなFLフレームワークのニーズを動機づける。
• Flowerを、シミュレーションと実機デプロイメントを橋渡しする、総合的で拡張可能なFLフレームワークとして提示する。
• Flowerが大規模コホート（最大百万規模のクライアント）と異質環境をサポートできる能力をデモンストレーションする。
• セキュアな集約やクロスフレームワーク/モバイルデバイス統合など、実用的な能力を示す。

提案手法

• Strategy抽象を介したグローバル（サーバ）およびローカル（クライアント）計算を備えるエンドツーエンドのFLフレームワークアーキテクチャを定義する。
• 異種クライアント実装を可能にする、言語およびMLフレームワークに依存しないコアコンポーネントを提供する。
• 大規模実験のためにハードウェア利用を最大化するVirtual Client Engine（VCE）を導入する。
• 半誠実性の脅威モデルに対する効率性目標を持つSecAggおよびSecAgg+のセキュアな集約プロトコルを実装する。
• FlowerをTFF、Syft、FedScale、およびLEAFと、単一ノード/マルチノード、スケーラビリティ、異質性、フレームワーク非依存性の観点で比較する。
• 通信スタック（gRPC双方向ストリーム）、バイト配列メッセージのシリアライゼーション、ClientProxy抽象を説明する。

実験結果

リサーチクエスチョン

• RQ1 クライアントが異種デバイスをサポートしながら、何千万規模のクライアントへとFLフレームワークをスケールさせることは可能か。
• RQ2 統一されたフレームワークはFL実験のシミュレーションから実機デバイスへの移行をシームレスに実現できるか。
• RQ3 システムの異質性とネットワーク条件がFLの収束と効率に与える影響は何か。
• RQ4 実機実験におけるセキュア集約はFLの実用性にどのように影響するか。
• RQ5 Flowerは既存のFLフレームワークと比較して、スケーラビリティ、異質性、フレームワーク非依存性の点でどうか。

主な発見

• Flowerは、2台の高性能GPUという小規模な計算環境で最大1570万クライアントのFL実験へ拡張可能である。
• Flowerは1百万クライアント中のラウンドごとに最大1000クライアントの同時実行を実現し、同時参加とスケーリングの点で複数の同業他社を上回る。
• FEMNIST/文字分類タスクにおいて、 Flowerは1ラウンドあたりの有効クライアント数が増加しても、競合他社と比べて遜色ない、あるいはそれ以上の速度を維持する。
• 実機の異種デバイス（Jetson、Raspberry Pi、Android）でFlowerのデプロイは実現可能で、トレーニング時間とエネルギー消費が測定可能であり、プロファイリング時にはラウンドごとのオーバーヘッドが100 ms未満である。
• Virtual Client Engine（VCE）は利用率を大幅に改善し、必要になるまでクライアントのインスタンス化を遅延させることでメモリ使用量を削減し、一般的なハードウェアでの大規模実験を可能にする。
• Flowerのセキュア集約実装は、一部の従来のMPCアプローチより理論的オーバーヘッドが低く、ドロップアウトにも頑健である。