[論文レビュー] UniFed: All-In-One Federated Learning Platform to Unify Open-Source Frameworks

Xiaoyuan Liu, Tianneng Shi+10 more|arXiv (Cornell University)|Jul 21, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

UniFed は、11 つのオープンソース FL フレームワーク間で入力、実行、出力を標準化する統合型フェデレーテッドラーニングプラットフォームであり、一貫したエンドツーエンドの実験とデプロイを可能にする。20 個の編集可能なフィールドを備えたスキーマ制約付きの設定システムを導入し、分散学習とログ記録をサポート。モデルおよびシステム性能の比較的評価を可能にし、サンプリング戦略の違いにより FedML がクロスデバイス設定において Flower よりも優れていることが判明した。

ABSTRACT

Federated Learning (FL) has become a practical and widely adopted distributed learning paradigm. However, the lack of a comprehensive and standardized solution covering diverse use cases makes it challenging to use in practice. In addition, selecting an appropriate FL framework for a specific use case can be a daunting task. In this work, we present UniFed, the first unified platform for standardizing existing open-source FL frameworks. The platform streamlines the end-to-end workflow for distributed experimentation and deployment, encompassing 11 popular open-source FL frameworks. In particular, to address the substantial variations in workflows and data formats, UniFed introduces a configuration-based schema-enforced task specification, offering 20 editable fields. UniFed also provides functionalities such as distributed execution management, logging, and data analysis. With UniFed, we evaluate and compare 11 popular FL frameworks from the perspectives of functionality, privacy protection, and performance, through conducting developer surveys and code-level investigation. We collect 15 diverse FL scenario setups (e.g., horizontal and vertical settings) for FL framework evaluation. This comprehensive evaluation allows us to analyze both model and system performance, providing detailed comparisons and offering recommendations for framework selection. UniFed simplifies the process of selecting and utilizing the appropriate FL framework for specific use cases, while enabling standardized distributed experimentation and deployment. Our results and analysis based on experiments with up to 178 distributed nodes provide valuable system design and deployment insights, aiming to empower practitioners in their pursuit of effective FL solutions.

研究の動機と目的

• 標準化の欠如と高い調査コストのため、特定のユースケースに適した FL フレームワークを選定する課題に対処する。
• 11 つのオープンソース FL フレームワーク間で多様なワークフロー、データフォーマット、出力構造を統合する。
• 機能性、プライバシー、パフォーマンスの観点から、FL フレームワークの機能的・再現的・比較可能な評価を可能にする。
• 体系的なベンチマークと分析を通じて、実務家に実行可能な推奨事項を提供する。
• ログ分析をフレームワーク選定に統合することで、評価と推奨の閉ループを構築する。

提案手法

• 11 つのフレームワーク間でタスク仕様を標準化するため、20 個の編集可能なフィールドを備えた統合設定スキーマを設計・実装する。
• リアルタイム検証を備えた UI ベースのワークフローを用いて、フレームワークの推奨と設定生成を実現する。
• 178 ノードにわたる分散実行を統合し、実世界のシステムパフォーマンスを評価する。
• フレームワーク間の比較と分析を可能にする一貫したフォーマットで分散ログを標準化する。
• 外部のデータ分析プラットフォームとの統合を可能にし、モデルおよびシステムパフォーマンスの調査を促進する。
• コードレベルの分析と開発者アンケートを実施し、機能性、プライバシーメカニズム、実装の差異を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 どの FL フレームワークが水平的・垂直的 FL の設定を最もよくサポートし、機能性およびプライバシー支援においてどのように異なるか？
• RQ2 異なるフレームワークにおけるサンプリング戦略は、クロスデバイス FL の設定においてモデル収束性とシステムパフォーマンスにどのように影響するか？
• RQ3 木ベースとニューラルネットワークベースの垂直 FL フレームワークの間で、パフォーマンスのトレードオフは何か？
• RQ4 通信コスト、メモリ使用量、並列処理などのシステム要因は、実世界のデプロイ効率にどのように影響するか？
• RQ5 統合プラットフォームは、データドリブンな推奨事項を通じて、実務家の参入障壁を低減し、フレームワーク選定を改善できるか？

主な発見

• 178 台のマシンを用いたクロスデバイス設定において、FedML は 48.4 秒で、Flower は 57.4 秒で学習を完了した。主な要因はサンプリング戦略の差異による。
• 400 エポック後、Fedlearner はモデル精度が著しく低かった（69.06%）一方、Flower（82.13%）と FedML（80.40%）は顕著に高い精度を示した。これはすべてのクライアントで勾配降下が非効率的に行われたためである。
• 木ベースの垂直 FL フレームワーク（例：FedTree）は、ニューラルネットワークベースのフレームワーク（例：CrypTen）よりも効率的であり、メモリ使用量が低く、並列処理性に優れていた。
• sMPC を用いたニューラルネットワーク学習は、処理速度が遅く、メモリ使用量が多く、1 コアしか使用しなかった。これはプライバシー保護技術におけるトレードオフを示している。
• Flower と FedML 間のモデルパフォーマンスの差は、異なるサンプリング手順に起因する：Flower は各ラウンドで異なるクライアントをサンプリングするが、FedML は固定されたクライアントサブセットを用い、各クライアントでインスタンスシャッフルを実施する。
• UniFed はフレームワーク間で一貫した評価と比較を可能にし、サンプリング戦略がモデル精度およびシステム効率に顕著な影響を与えることが判明した。