[論文レビュー] NVIDIA FLARE: Federated Learning from Simulation to Real-World

Holger R. Roth, Yan Cheng+21 more|arXiv (Cornell University)|Oct 24, 2022

Privacy-Preserving Technologies in Data被引用数 56

ひとこと要約

NVFlare は、研究者が多様なライブラリを横断してフェデレーテッドラーニングのワークフローを実装し、プライバシー保護のプリミティブとシミュレーションツールを備えて実世界のプロダクションにデプロイできるオープンソースのSDKです。

ABSTRACT

Federated learning (FL) enables building robust and generalizable AI models by leveraging diverse datasets from multiple collaborators without centralizing the data. We created NVIDIA FLARE as an open-source software development kit (SDK) to make it easier for data scientists to use FL in their research and real-world applications. The SDK includes solutions for state-of-the-art FL algorithms and federated machine learning approaches, which facilitate building workflows for distributed learning across enterprises and enable platform developers to create a secure, privacy-preserving offering for multiparty collaboration utilizing homomorphic encryption or differential privacy. The SDK is a lightweight, flexible, and scalable Python package. It allows researchers to apply their data science workflows in any training libraries (PyTorch, TensorFlow, XGBoost, or even NumPy) in real-world FL settings. This paper introduces the key design principles of NVFlare and illustrates some use cases (e.g., COVID analysis) with customizable FL workflows that implement different privacy-preserving algorithms. Code is available at https://github.com/NVIDIA/NVFlare.

研究の動機と目的

• ヘルスケア分野やシロソー間設定など、生データを共有せずに堅牢なAIモデルを構築する手段としてフェデレーテッドラーニングを動機づける。
• NVFlareを、シミュレーションからデプロイメントまでのワークフローをサポートする、拡張性のある実運用指向のFL SDKとして提示する。
• 実世界の利用に向けたプライバシー保護フィルター、コントローラ-ワーカーアーキテクチャ、セキュアプロビジョニングなどの主要な機能を紹介する。

提案手法

• Controllers、Workers、Filters からなるコンポーネントベースのNVFlareアーキテクチャを説明する。
• プラグインコンポーネントとライブラリに依存しないワークフローを可能にする仕様ベースのAPIを説明する。
• Filters を介したプライバシー保護機構（差分プライバシー、同型暗号）を詳述する。
• FLワークフロー（FedAvg、FedProx、SCAFFOLD）と代替パターン（scatter-gather、cyclic、swarm、split learning）を提示する。
• セキュアプロビジョニング、認証（相互TLS）、認可、監査、およびクライアント固有のポリシーを提供する。

実験結果

リサーチクエスチョン

• RQ1 NVFlare は異なるトレーニングライブラリと環境に跨るシミュレーションからプロダクションへのフェデレーテッドラーニングをどのように実現するか？
• RQ2 柔軟な FL ワークフローとプライバシー保護を支えるコアとなるアーキテクチャの原語 primitive (Controller、Worker、Filter、DXO) は何か？
• RQ3 NVFlare のワークフローにおけるプライバシー保護フィルターが通信と計算に及ぼす影響は何か？
• RQ4 実運用デプロイメントにおける高可用性、多タスク処理、セキュアプロビジョニングをNVFlareはどのようにサポートできるか？
• RQ5 NVFlare における実世界のFLデプロイメントとシミュレーション実験から得られる実証的洞察は何か？

主な発見

• NVFlare は、タスクの調整と結果の集約を行う Controller-Worker モデルを備えた、軽量な Python ベースのライブラリ非依存FLフレームワークを提供します。
• このプラットフォームは、トレーニングアルゴリズムを変更することなく適用できる、差分プライバシーや同型暗号を含むプライバシー保護フィルターを提供します。
• NVFlare にはシミュレーションツール（NVFlare Simulator）と、研究とデプロイメントを橋渡しするための実運用志向の機能（マルチタスク、高可用性を実現する Overseer、セキュアプロビジョニング）が含まれています。
• 実験は、異種データ分布に跨るFedAvgおよび他のFLアルゴリズム（FedProx、SCAFFOLD）を示し、プライバシーと通信の選択が性能とタイミングにどのように影響するかを示しています。
• Split learning のデモと、サーバー介在型およびピアツーピアなどのさまざまな通信パターンは、デプロイメントアーキテクチャにおける NVFlare の柔軟性を示しています。
• NVFlare は MONAI や XGBoost のようなフレームワークと統合され、医療分野やそれ以外の領域で従来のMLとディープラーニングタスクにおけるフェデレーテッド実験を可能にします。