[論文レビュー] A Communication Efficient Vertical Federated Learning Framework.

Yang Liu, Yan Kang+6 more|arXiv (Cornell University)|Dec 24, 2019

Privacy-Preserving Technologies in Data被引用数 59

ひとこと要約

本稿では、確率的ブロック座標降下を活用することで、トレーニングラウンドを削減する通信効率の良い垂直フェデレーテッドラーニングフレームワークであるFedBCDを提案する。バッチサイズ、サンプルサイズ、ローカルイテレーションを最適化することで、FedBCDはO(√T)の通信ラウンドを達成し、O(1/√T)の収束精度を実現する。これは、組織間AIトレーニングにおける通信オーバーヘッドを顕著に削減する。

ABSTRACT

One critical challenge for applying today's Artificial Intelligence (AI) technologies to real-world applications is the common existence of data silos across different organizations. Due to legal, privacy and other practical constraints, data from different organizations cannot be easily integrated. Federated learning (FL), especially the vertical FL (VFL), allows multiple parties having different sets of attributes about the same user collaboratively build models while preserving user privacy. However, communication overhead is a principal bottleneck since the existing VFL protocols require per-iteration communications among all parties. In this paper, we propose the Federated Stochastic Block Coordinate Descent (FedBCD) to effectively reduce the communication rounds for VFL. We show that when the batch size, sample size, and the local iterations are selected appropriately, the algorithm requires $\mathcal{O}(\sqrt{T})$ communication rounds to achieve $\mathcal{O}(1/\sqrt{T})$ accuracy. Finally, we demonstrate the performance of FedBCD on several models and datasets, and on a large-scale industrial platform for VFL.

研究の動機と目的

• 垂直フェデレーテッドラーニング（VFL）における高い通信オーバーヘッドを解消すること。VFLでは、すべての参加者がトレーニングイテレーションのたびに通信する必要がある。
• モデルの精度を損なわずにVFLにおける通信ラウンド数を削減すること。
• 実世界のデータシロに適したスケーラブルでプライバシー保護型のトレーニングフレームワークを設計すること。
• 実データセットおよびインダストリアルスケールのプラットフォーム上で、理論的な通信効率の向上を検証すること。

提案手法

• 垂直FLに特化した新しい最適化フレームワークとして、フェデレーテッド確率的ブロック座標降下（FedBCD）を提案する。
• 1ラウンドあたりのモデルパラメータの一部のみを更新するブロック座標降下の更新を導入し、1イテレーションあたりの通信量を削減する。
• 適応的バッチ処理とローカルイテレーションスケジューリングを採用し、収束速度と通信コストのバランスを取る。
• 理論的収束バウンズを導出し、最適なハイパーパrameter設定下でO(√T)の通信ラウンドでO(1/√T)の精度を達成できることを示す。
• さまざまなモデルとデータセットにこの手法を適用し、大規模なインダストリアルデプロイメントにも対応する。
• ユーザーのプライバシーを保護するため、セキュアアグリゲーションと暗号技術を用いて、参加者間の通信を保護する。

実験結果

リサーチクエスチョン

• RQ1 標準的なO(T)スケーリングを下回る通信ラウンド数に、収束精度を損なわずに抑えることは可能か？
• RQ2 バッチサイズ、サンプルサイズ、ローカルイテレーションといったハイパーパラメータのどの設定が、VFLにおける通信-精度トレードオフを最適化するか？
• RQ3 提案されたFedBCDフレームワークは、データシロを越えた効率的なモデルトレーニングを可能にしながらも、プライバシーを維持できるか？
• RQ4 FedBCDは、実世界のデータセットおよびインダストリアルスケールのプラットフォーム上で実際の性能を発揮するか？
• RQ5 理論的な通信複雑度バウンズは、実世界のVFLデプロイメントでも達成可能か？

主な発見

• FedBCDは、O(√T)の通信ラウンドでO(1/√T)の収束精度を達成するため、標準的なVFLに比べて著しく効率が向上する。
• バッチサイズ、サンプルサイズ、ローカルイテレーションの最適選択により、理論的な通信複雑度が実際の環境でも実現可能である。
• 複数のモデルやデータセット、複雑なインダストリアルスケールのアプリケーションにおいても、強力なモデルパフォーマンスを維持する。
• 実証結果から、FedBCDはベースラインのVFL手法に比べて通信効率が優れており、モデル精度を保持していることが確認された。
• 大規模なインダストリアルプラットフォームでも効果的にスケーリングでき、組織間AIトレーニングにおける実用的妥当性を示した。