[論文レビュー] FLINT: A Platform for Federated Learning Integration

Ewen Wang, Ajay Kannan+3 more|arXiv (Cornell University)|Feb 24, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

FLINTは、既存の集中型MLシステムと統合することで、クロスデバイスFLの展開を体系的かつ評価可能なプラットフォームです。現実的なシミュレーション、リソース推定、意思決定ワークフローを組み合わせることで、FLプロジェクトのリスクを軽減し、モデルおよびシステム設計を最適化し、数億人のユーザーにまで責任ある形でFLをスケーリングすることを可能にします。性能とプライバシーの両面で測定可能な利点を実現します。

ABSTRACT

Cross-device federated learning (FL) has been well-studied from algorithmic, system scalability, and training speed perspectives. Nonetheless, moving from centralized training to cross-device FL for millions or billions of devices presents many risks, including performance loss, developer inertia, poor user experience, and unexpected application failures. In addition, the corresponding infrastructure, development costs, and return on investment are difficult to estimate. In this paper, we present a device-cloud collaborative FL platform that integrates with an existing machine learning platform, providing tools to measure real-world constraints, assess infrastructure capabilities, evaluate model training performance, and estimate system resource requirements to responsibly bring FL into production. We also present a decision workflow that leverages the FL-integrated platform to comprehensively evaluate the trade-offs of cross-device FL and share our empirical evaluations of business-critical machine learning applications that impact hundreds of millions of users.

研究の動機と目的

• 大規模な本番環境におけるクロスデバイスフェデレーテッドラーニング（FL）の体系的評価フレームワークの欠如に対処すること。
• 集中型学習からフェデレーテッドラーニングへの移行に伴うリスクを低減すること、特に性能の低下、ユーザーエクスペリエンスの劣化、インfra構成コストの超過のリスクを含む。
• ML実務家が本番環境への展開前に、システムリソース要件、モデル性能、実世界の制約を推定できるツールを提供すること。
• 集中型とオンデバイスMLの共存モデルを実現し、クラウドとデバイスの両方のデータと計算リソースを活用すること。
• トレーニングモード、ハイパーパrameter、モデル複雑度などのFL設計選択肢におけるトレードオフを実証的に評価する意思決定ワークフローを確立すること。

提案手法

• FLINTは、LinkedInの既存の集中型MLプラットフォームと統合し、FL実験のための統合された環境を提供する。
• デバイスプロファイル、実世界の使用トレース、仮想クロックを用いて、デバイスの可用性と異種性をモデル化する、拡張されたシミュレーション機能をFedScaleに追加する。
• データスケュー、デバイスの計算およびメモリ制約、ネットワークペイロード制限を含む、現実的なシミュレーションをサポートする。
• 同期型と非同期型のトレーニングモード、モデルアーキテクチャ、ハイパーパrameterの間のトレードオフを評価するための意思決定ワークフローを実装する。
• インfra構成コスト、モデルサイズ、オンデバイス推論遅延、データペイロード量を推定し、本番環境での意思決定を支援する。
• フェデレーテッドラーニングベンチマークのシミュレーションの忠実度を向上させるために、FedScaleへのオープンソース寄与が行われた。

実験結果

リサーチクエスチョン

• RQ1 大規模な本番環境において、デバイス・クラウド連携プラットフォームは、クロスデバイスフェデレーテッドラーニングの実現可能性とトレードオフを体系的にどのように評価できるか？
• RQ2 デバイスの可用性、データスケュー、計算異種性といった、実世界のシステム制約が、FLトレーニングのパフォーマンスとユーザーエクスペリエンスにどのように影響を与えるか？
• RQ3 ML実務家は、FLモデルを大規模に展開する前に、インfra構成コストとリソース要件をどのように推定できるか？
• RQ4 モデルアーキテクチャとハイパーパrameterが、異種デバイス環境下でのオンデバイスパフォーマンスとシステム全体の収束性に与える影響は何か？
• RQ5 プラットフォームは、既存の集中型MLシステムとどのように統合され、安全でデータドリブンなフェデレーテッドラーニングへの移行を可能にするか？

主な発見

• FLINTは、データペイロード量、モデルサイズ、オンデバイス推論遅延といった、本番環境展開に不可欠なシステムリソース要件を正確に推定できる。
• プラットフォームのシミュレーションフレームワークは、現実のデバイスの可用性パターンを捉えており、ピーク時と最低参加時の間で14倍の変動を示しており、これは従来のベンチマークよりも顕著に高い。
• 広告、メッセージ分類、検索順位付けの3つのビジネスクリティカルなアプリケーションにおける実証的評価により、FLが集中型トレーニングに代わる可能性があり、ユーザープライバシーとシステムパフォーマンスの両方を向上させることを示した。
• FLにおけるモデル性能は、データスケューとデバイスの異種性に極めて敏感であり、最適化されていないモデルでは、低性能デバイスでの性能劣化が顕著に顕在される。
• 意思決定ワークフローにより、チームは最適なハイパーパrameterとトレーニングモードを特定でき、本番展開時の予期しない障害のリスクを低減できる。
• 集中型MLプラットフォームと統合することで、FLを馴染みのある環境で評価できるようになり、開発者の抵抗感を軽減し、採用を加速した。