[論文レビュー] IBM Federated Learning: an Enterprise Framework White Paper V0.1

Heiko Ludwig, Nathalie Baracaldo+22 more|arXiv (Cornell University)|Jul 22, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用数 111

ひとこと要約

IBM Federated Learning は、モジュール式アーキテクチャを備え、複数の ML ライブラリとプライバシー保護オプションをサポートし、分散データソース間でのトレーニングを可能にするエンタープライズ向けフレームワークを提供します。

ABSTRACT

Federated Learning (FL) is an approach to conduct machine learning without centralizing training data in a single place, for reasons of privacy, confidentiality or data volume. However, solving federated machine learning problems raises issues above and beyond those of centralized machine learning. These issues include setting up communication infrastructure between parties, coordinating the learning process, integrating party results, understanding the characteristics of the training data sets of different participating parties, handling data heterogeneity, and operating with the absence of a verification data set. IBM Federated Learning provides infrastructure and coordination for federated learning. Data scientists can design and run federated learning jobs based on existing, centralized machine learning models and can provide high-level instructions on how to run the federation. The framework applies to both Deep Neural Networks as well as ``traditional'' approaches for the most common machine learning libraries. {\proj} enables data scientists to expand their scope from centralized to federated machine learning, minimizing the learning curve at the outset while also providing the flexibility to deploy to different compute environments and design custom fusion algorithms.

研究の動機と目的

• データをプライバシー、規制、またはロジスティクス上の制約で中央集権化できないエンタープライズ環境における連合学習の動機付けと定義。
• 既存の ML ワークフローやライブラリと連合学習を統合する、使いやすく拡張性のあるフレームワークを提案。
• 安全な協力を可能にしつつ、多様な計算環境とデータヘテロジニティをサポートするアーキテクチャ。
• ML 専門家と IT 運用のオンボーディングを簡素化して、連合学習の本番運用を迅速に展開する。

提案手法

• アグリゲータ A とパーティ Pi を用いた正式な FL モデルを提示し、グローバルモデル MG をローカル更新から更新するクエリ L と融合 F のプロセスを詳述する。
• Connection、Protocol Handler、Data Handler、FusionHandler、LocalTrainingHandler、FLModel アダプタを含む IBM Federated Learning の階層型アーキテクチャを説明する。
• IterAvg/FedAvg および ID3 ベースのアプローチを用いて、連合学習設定でニューラルネットワークと決定木をどのようにトレーニングできるかを説明する。
• Keras、PyTorch、TensorFlow、Scikit-learn などの FLModel ラッパーを介して複数の ML ライブラリをサポートし、ライブラリ間の相互運用性を可能にする。
• 差分プライバシーとセキュア・マルチパーティ計算を含むプライバシー保護拡張を、暗号技術を組み込むための柔軟な API と共に議論する。

実験結果

リサーチクエスチョン

• RQ1 クラウド間のデータ分割、オンプレミスデータセンター、エッジデバイスを含むエンタープライズ環境で、連合学習をどのように効果的に実装できるか？
• RQ2 データサイエンティストの学習曲線を最小化するには、FL を既存の ML ワークフローに統合するためにどのようなアーキテクチャパターンとコンポーネントが必要か？
• RQ3 FedAvg、Krum、Zeno などの一般的な FL アルゴリズムを、モジュラーな IBM Federated Learning フレームワーク内でどのように実現できるか？
• RQ4 通信または計算オーバーヘッドを過度に増大させることなく、どのようなプライバシーとセキュリティ機構 (差分プライバシー、SMC) をフレームワークに統合できるか？
• RQ5 共通の API を通じて異なる ML ライブラリをサポートし、連合設定で多様なモデルタイプを訓練できるようにするにはどうすればよいか？

主な発見

• アグリゲータとパーティスタックの間の関心の分離を明確にした、モジュール化された IBM Federated Learning アーキテクチャを定義する。
• 専用の FusionHandler と LocalTrainingHandler のペアを通じて、ニューラルネットワークと決定木を組み込む方法を示す。
• 共通の FLModel インターフェースを介して複数の ML ライブラリと統合を実現し、Keras や Scikit-learn などのモデル間で再利用を可能にする。
• 差分プライバシーやセキュア・マルチパーティ計算など、フレームワーク内でのプライバシー保護技術のサポートを概説する。
• ネットワーク、セキュリティ、運用のレジリエンスを含む、エンタープライズおよびマルチクラウド環境での展開に関する実務上の考慮事項を特定する。