[論文レビュー] Accelerating Vertical Federated Learning

Dongqi Cai, Tao Fan+5 more|arXiv (Cornell University)|Jul 23, 2022

Privacy-Preserving Technologies in Data参考文献 37被引用数 4

ひとこと要約

本論文は、同型暗号（HE）下での垂直フェデレーテッドラーニング（VFL）を高速化する、ストラグルラー耐性で計算効率の高いシステムを提案する。異種環境における通信オーバーヘッドを低減するバックアップワーカー方式と、入力行列の圧縮に主成分分析（PCA）を組み合わせることで、通信オーバーヘッドを最大65.26％、計算オーバーヘッドを最大40.66％削減し、セキュリティを損なわずVFLの効率を顕著に向上させる。

ABSTRACT

Privacy, security and data governance constraints rule out a brute force process in the integration of cross-silo data, which inherits the development of the Internet of Things. Federated learning is proposed to ensure that all parties can collaboratively complete the training task while the data is not out of the local. Vertical federated learning is a specialization of federated learning for distributed features. To preserve privacy, homomorphic encryption is applied to enable encrypted operations without decryption. Nevertheless, together with a robust security guarantee, homomorphic encryption brings extra communication and computation overhead. In this paper, we analyze the current bottlenecks of vertical federated learning under homomorphic encryption comprehensively and numerically. We propose a straggler-resilient and computation-efficient accelerating system that reduces the communication overhead in heterogeneous scenarios by 65.26% at most and reduces the computation overhead caused by homomorphic encryption by 40.66% at most. Our system can improve the robustness and efficiency of the current vertical federated learning framework without loss of security.

研究の動機と目的

• 同型暗号（HE）下での垂直フェデレーテッドラーニング（VFL）における高い通信および計算オーバーヘッドを解消し、実用的導入を妨げる要因を是正すること。
• ワーカーの速度やデータ特性に顕著な差がある異種環境において、耐障害性と効率性を向上させること。
• HEによる計算負担を軽減し、データサイズが著しく増大し、学習が数個のオーダー以上に遅延する問題を是正すること。
• 学習を高速化しながらも、強力な暗号的セキュリティを維持し、機関間のプライバシー保護型協働を確保すること。
• データがスロットに分離され、プライバシーが重要な分野（金融・医療分野など）における実用的で跨業界の協働を可能にすること。

提案手法

• ストラグルラー耐性のバックアップワーカー方式を採用し、異種VFL環境における遅延したまたは応答のないワーカーに起因する通信遅延を緩和する。
• 入力特徴行列を同型暗号化する前に主成分分析（PCA）を用いて圧縮し、処理および暗号化対象のデータサイズを削減する。
• アグリゲーターがn + b人のワーカーから最初のn個の勾配を受け入れ、残りのb個をバックアップとして破棄することで、全ワーカーの応答を待つ必要をなくし、通信オーバーヘッドを最小限に抑える。
• すべての中間結果が学習全体を通して暗号化されたまま保たれることで、セキュリティを確保し、プライバシー保護のため同型暗号に依存する。
• FATE（Federated AI Technology Enabler）というオープンソースプラットフォーム内にフレームワークを実装し、互換性と実世界への適用可能性を確保する。
• 多様なデータ分布と計算の非均一性を伴う現実的なVFLシナリオで、手法を評価する。

Figure 1 : Vertical federated learning. A specialization of federated learning for secure cross-silo cooperation learning.

実験結果

リサーチクエスチョン

• RQ1 異種VFLシステムにおける通信オーバーヘッドを、セキュリティを損なわずどのように低減できるか？
• RQ2 PCAによる入力行列の圧縮は、HE保護下のVFLにおける計算コストをどの程度低減できるか？
• RQ3 バックアップワーカー戦略は、中間結果（単なる勾配ではなく）がやり取りされるVFLにおいて、ストラグルラー効果を効果的に緩和できるか？
• RQ4 PCAベースの圧縮を暗号化VFLに適用する際の、計算効率とモデル精度のトレードオフはどのようなものか？
• RQ5 どのようにすれば、プライバシーが重要な業界における実世界のクロスシロ協働に適したVFLをよりスケーラブルかつ実用的なものにできるか？

主な発見

• 提案されたバックアップワーカー方式により、異種VFL環境下での通信オーバーヘッドが最大65.26％削減された。
• PCAベースの入力圧縮により、同型暗号に起因する計算オーバーヘッドが最大40.66％削減された。
• エンドツーエンドの暗号化を維持することで、強力な暗号的セキュリティが確保された。
• モデル精度に影響を与えることなく加速が達成され、局所学習と同等の訓練パフォーマンスを維持した。
• フレームワークは耐障害性と効率性の両方を向上させ、金融・医療・IoTアプリケーション分野における実世界でのVFL導入をより現実可能にした。
• FATEプラットフォームと互換性があるため、既存の産業用フェデレーテッドラーニングパイプラインへの実用的統合が可能となった。

Figure 2 : The framework of vertical federated learning, where homomorphic encryption is applied to preserve privacy.