[論文レビュー] Fedlearn-Algo: A flexible open-source privacy-preserving machine learning platform

Bo Liu, Chaowei Tan+8 more|arXiv (Cornell University)|Jul 8, 2021

Privacy-Preserving Technologies in Data参考文献 17被引用数 12

ひとこと要約

Fedlearn-Algo は、新しい垂直フェデレーテッドラーニングアルゴリズム — 垂直フェデレーテッドカーネルバイナリ分類および垂直フェデレーテッドランダムフォレスト — と柔軟な通信モジュールを備えた、オープンソースでプライバシー保護型の機械学習プラットフォームです。同プラットフォームは、同型暗号化と均一なデータ転送インターフェースを用いて、データがパーティション化された複数の参加者間で効率的で安全なモデル学習を可能にし、実世界の展開において既存の垂直FLモデルを上回る効率性を示しています。

ABSTRACT

In this paper, we present Fedlearn-Algo, an open-source privacy preserving machine learning platform. We use this platform to demonstrate our research and development results on privacy preserving machine learning algorithms. As the first batch of novel FL algorithm examples, we release vertical federated kernel binary classification model and vertical federated random forest model. They have been tested to be more efficient than existing vertical federated learning models in our practice. Besides the novel FL algorithm examples, we also release a machine communication module. The uniform data transfer interface supports transferring widely used data formats between machines. We will maintain this platform by adding more functional modules and algorithm examples. The code is available at https://github.com/fedlearnAI/fedlearn-algo.

研究の動機と目的

• クロスパーティ機械学習におけるデータプライバシー、通信コスト、アルゴリズムパフォーマンスの課題に対処すること。
• 実際の toB および toG 応用分野での展開に適した、効率的な垂直フェデレーテッドラーニングアルゴリズムの開発およびリリース。
• 新規および標準のプライバシー保護型機械学習アルゴリズムをサポートする、柔軟で拡張可能なオープンソースプラットフォームの提供。
• 均一で中立的なデータ転送インターフェースと最適化されたプロトコル設計により、マルチマシン学習における通信ボトルネックの低減。
• 同型暗号化とモジュラー通信コンponentsの統合により、安全でスケーラブルかつ相互運用可能なフェデレーテッドラーニングの実現。

提案手法

• 参加者間で暗号化されたラベルを用いてラベル統計を安全に計算する同型暗号化を活用し、垂直フェデレーテッド意思決定木におけるプライバシー保護型特徴分割を実現。
• 広く使われているデータフォーマットをサポートする均一なデータ転送インターフェースを採用し、フェデレーテッド環境下でのマシン間通信をシームレスに実現。
• 水平にパーティショニングされたデータにおける非線形意思決定境界を扱うためにカーネル法を活用する垂直フェデレーテッドカーネルバイナリ分類モデルを導入。
• 各パッシブ参加者が特徴パーティションに基づいて暗号化されたラベル分位数統計を計算し、アクティブ参加者が最適なスプリットを選択する垂直フェデレーテッドランダムフォレストモデルを構築。
• 通信、暗号化、アルゴリズム実装のモジュラーなコンponentsを備えた拡張性のあるプラットフォームアーキテクチャを設計し、TensorFlow、PyTorch、Scikit-learn との統合を支援。
• ラベル統計を復号した上で最大情報ゲインに基づくツリー分岐戦略を適用し、プライバシーを保持しつつモデルパフォーマンスを確保。

実験結果

リサーチクエスチョン

• RQ1 実世界の展開において、既存のアプローチよりも効率的な垂直フェデレーテッドラーニングモデルをどのように設計できるか？
• RQ2 同型暗号化は、分散された参加者間でラベル統計を安全に計算するために果たす役割は何か？
• RQ3 均一で拡張可能な通信インターフェースは、マルチマシンフェデレーテッドラーニングシステムにおける実装の複雑さをどのように低減できるか？
• RQ4 カーネルベースやランダムフォレストモデルのような新規な垂直FLアルゴリズムは、学習効率および精度の面で既存のモデルを上回ることができるか？
• RQ5 モジュラーでオープンソースのプラットフォームは、プライバシー保護型機械学習分野における研究開発をどのように加速できるか？

主な発見

• Fedlearn-Algo でリリースされた垂直フェデレーテッドカーネルバイナリ分類およびランダムフォレストモデルは、実世界の実装において既存の垂直FLモデルを上回る高い効率性を示した。
• 同型暗号化の活用により、生のラベルを露呈させることなくラベル統計の計算が可能となり、モデル学習中におけるデータプライバシーの保護が実現された。
• 均一なデータ転送インターフェースは複数の一般的なデータフォーマットをサポートし、統合のオーバーヘッドを低減し、多様な機械学習ツール間の相互運用性を向上させた。
• プラットフォームのモジュラー設計により、新しいアルゴリズムや通信プロトコル（非同期および分散型トポロジーなど）の容易な拡張が可能となった。
• SMPC や微分散プライバシー、知識蒸留法などの標準的なプライバシー保護技術の今後の統合が、プラットフォームで可能である。
• フレームワークは生産環境向けに設計されており、複数の参加者が関与する機密データを扱う企業および政府応用分野への展開に適している。