[論文レビュー] Vertical Federated Learning: Concepts, Advances and Challenges

Yang Liu, Yan Kang+7 more|arXiv (Cornell University)|Nov 23, 2022

Privacy-Preserving Technologies in Data参考文献 179被引用数 20

ひとこと要約

垂直フェデレーテッドラーニング（VFL）の包括的な調査。概念、アーキテクチャ、プライバシー保護プロトコル、効率、効果、安全性、そして提案されたVFLowフレームワークを通じた将来の方向性。

ABSTRACT

Vertical Federated Learning (VFL) is a federated learning setting where multiple parties with different features about the same set of users jointly train machine learning models without exposing their raw data or model parameters. Motivated by the rapid growth in VFL research and real-world applications, we provide a comprehensive review of the concept and algorithms of VFL, as well as current advances and challenges in various aspects, including effectiveness, efficiency, and privacy. We provide an exhaustive categorization for VFL settings and privacy-preserving protocols and comprehensively analyze the privacy attacks and defense strategies for each protocol. In the end, we propose a unified framework, termed VFLow, which considers the VFL problem under communication, computation, privacy, as well as effectiveness and fairness constraints. Finally, we review the most recent advances in industrial applications, highlighting open challenges and future directions for VFL.

研究の動機と目的

• VFL の概念、定式化、および訓練手順の包括的な概要を提供する。
• VFL 設定とプライバシー保護プロトコルを分類し、攻撃と防御の分析を行う。
• 通信、計算、プライバシー、フェアネスを組み込んだ統一最適化フレームワーク（VFLow）を提案する。
• VFLにおける効率性、効果、プライバシー、セキュリティを向上させる戦略を検討する。
• 産業応用、課題、将来の研究方向性を議論する。

提案手法

• 特徴空間データの分割とアクティブ/パッシブパーティの役割を用いたVFL問題を定義する。
• splitVFL、aggVFLを含む統一VFL分類法を提示し、アクティブな特徴オーナーの有無を含む亜種を含む。
• 二段階のVFL訓練プロトコルの詳細：プライベートなエンティティ整合と中間結果を伴うプライバシー保護訓練。
• プライバシー保護技術（HE、MPC、DP、TEE）と各プロトコルに対する関連する攻撃/防御を調査。
• VFLの定義を拡張して通信、計算、プライバシー、効果、フェアネスを取り込むVFLowフレームワークを導入。
• 効率化技術（複数更新、非同期協調、ワンショット通信、圧縮、サンプル/特徴選択）と効果向上（自己教師あり学習、半教師あり学習、知識蒸留）の戦略を議論。

実験結果

リサーチクエスチョン

• RQ1 垂直分割データ設定におけるコアなアーキテクチャ変種と訓練プロトコルは何か。
• RQ2 実際の展開において、VFLでプライバシー、効率、効果を同時にどのように対処できるか。
• RQ3 VFLの設計空間とトレードオフを最もよく捉える分類法と統一フレームワークは何か。
• RQ4 VFLの産業応用における顕著な課題と将来の方向性は何か。
• RQ5 VFLプロトコル間でプライバシー攻撃/防御はどのように異なり、どのように緩和できるか。

主な発見

• 本稿はVFL設定とプライバシー保護プロトコルの網羅的な分類を提供する。
• 通信、計算、プライバシー、効果、フェアネスを考慮する統一フレームワーク（VFLow）を提案。
• プライバシー攻撃と防御戦略は、異なるVFLプロトコル（HE、MPC、DP、TEE など）にわたって分析される。
• 複数の効率化技術（ローカル更新、非同期協調、ワンショット通信、圧縮、データ/特徴選択）をそのトレードオフとともに検討。
• ラベルなしまたは非整列データを活用するための自己教師あり学習、半教師あり学習、知識蒸留による効果向上を調査。
• 産業応用、未解決の課題、およびVFLエコシステム構築に向けた方向性を議論する。