[論文レビュー] Federated Machine Learning: Concept and Applications

Qiang Yang, Yang Liu+2 more|arXiv (Cornell University)|Feb 13, 2019

Privacy-Preserving Technologies in Data参考文献 73被引用数 607

ひとこと要約

Federated Learningを定義し、horizontal, vertical, および federated transfer learningを分類し、データ漏洩なしの協調モデリングのためのプライバシー保護技術とアーキテクチャをレビューする調査。

ABSTRACT

Today's AI still faces two major challenges. One is that in most industries, data exists in the form of isolated islands. The other is the strengthening of data privacy and security. We propose a possible solution to these challenges: secure federated learning. Beyond the federated learning framework first proposed by Google in 2016, we introduce a comprehensive secure federated learning framework, which includes horizontal federated learning, vertical federated learning and federated transfer learning. We provide definitions, architectures and applications for the federated learning framework, and provide a comprehensive survey of existing works on this subject. In addition, we propose building data networks among organizations based on federated mechanisms as an effective solution to allow knowledge to be shared without compromising user privacy.

研究の動機と目的

• 産業分野を横断するデータの断片化とプライバシー懸念を動機づけ、対処する。
• Federated Learningを定義し、プライバシー保護型の分散協調と関連づける。
• Federated Learningを水平型、垂直型、及び federated transfer learning に分類し、アーキテクチャの図を示す。
• セキュリティ・フレームワーク、プライバシー技術、そして組織を跨ぐデータ協力の潜在的インセンティブを調査する。

提案手法

• Federated Learningの正式な定義と精度喪失指標（delta-accuracy）を提供する。
• トレーニング中のデータ保護を目的とした secure multi-party computation、differential privacy、および homomorphic encryption を含むセキュリティモデルを説明する。
• データ分布に基づいて Federated Learning を分類する：水平、垂直、および federated transfer learning、適用可能なアーキテクチャとセキュリティ前提を含む。
• 水平および垂直 Federated Learning のアーキテクチャワークフローを提示し、secure aggregationと entity alignment の手順を含む。
• フェデレーテッドシステムにおける公平な参加とデータ寄与のためのインセンティブとブロックチェーンに触発されたアイデアについて議論する。

実験結果

リサーチクエスチョン

• RQ1 Federated Learningとは何か、プライバシー保護型の分散学習を網羅するように定義するにはどうすればよいか？
• RQ2 水平、垂直、および federated transfer learning はデータ分布とセキュリティ要件においてどのように異なるか？
• RQ3 組織間で効果的かつプライベートな協調学習を可能にするアーキテクチャとセキュリティ機構は何か？
• RQ4 フェデレーテッド学習エコシステムにおける参加とデータ共有を促進する実践的なインセンティブ構造は何か？

主な発見

• Federated learningはデータ所有者のデータを公開することなく、データ ownership間で協調的なモデル訓練を可能にする。
• 水平型、垂直型、および federated transfer learning は、対応するセキュリティ定義を伴う異なるデータ分割シナリオに対処します。
• secure aggregation、differential privacy、および homomorphic encryption は、訓練中の中間結果とデータを保護する主要な技術です。
• Vertical federated learning は、エンティティアライメントと時に信頼できる第三者の存在に依存して、暗号化された勾配と損失の計算を可能にします。
• Federated transfer learning は、共通表現を用いて非重複の特徴空間とサンプル空間への協力を拡張します。
• インセンティブ機構とブロックチェーンベースの記録は、フェデレーテッドプラットフォームの公正な貢献と持続可能性を支える可能性がある。