[論文レビュー] Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator

Shengwen Yang, Bing Ren+2 more|arXiv (Cornell University)|Nov 22, 2019

Privacy-Preserving Technologies in Data参考文献 8被引用数 95

ひとこと要約

この論文は、垂直フェデレーテッドラーニングのための並列分散ロジスティック回帰フレームワークを提案し、サードパーティのコーディネータを必要としない。パラメータサーバーアーキテクチャを活用して、複数サーバー間でのスケーラブルな訓練を可能にする。

ABSTRACT

Federated Learning is a new distributed learning mechanism which allows model training on a large corpus of decentralized data owned by different data providers, without sharing or leakage of raw data. According to the characteristics of data dis-tribution, it could be usually classified into three categories: horizontal federated learning, vertical federated learning, and federated transfer learning. In this paper we present a solution for parallel dis-tributed logistic regression for vertical federated learning. As compared with existing works, the role of third-party coordinator is removed in our proposed solution. The system is built on the pa-rameter server architecture and aims to speed up the model training via utilizing a cluster of servers in case of large volume of training data. We also evaluate the performance of the parallel distributed model training and the experimental results show the great scalability of the system.

研究の動機と目的

• 生データを共有せずに、垂直に分散したデータでの訓練を動機づけ、解決する。
• 垂直FLに適した並列分散ロジスティック回帰ソリューションを開発する。
• プライバシー保証を維持しつつ、サードパーティコーディネータへの依存を排除する。
• 提案システムの大規模な訓練データセットでのスケーラビリティを示す。

提案手法

• パラメータサーバー型のアーキテクチャを採用して分散最適化を調整する。
• 垂直フェデレーテッドラーニングに適した並列分散ロジスティック回帰を実装する。
• FLワークフローで信頼された第三者コーディネータへの依存を排除する。
• 大規模データのために訓練を高速化するためにサーバークラスタを活用する。

実験結果

リサーチクエスチョン

• RQ1 サードパーティのコーディネータなしで垂直フェデレーテッドラーニングを、モデル性能とプライバシーを保ったまま実施できるか？
• RQ2 パラメータサーバーアーキテクチャは垂直FLにおける訓練速度とスケーラビリティにどのような影響を与えるか？
• RQ3 複数のサーバーに分散したロジスティック回帰訓練は収束にどのような影響を与えるか？
• RQ4 提案手法は、既存のコーディネータ依存法と比較してスケーラブルな性能を達成しているか？

主な発見

• 第三者コーディネータを必要としない垂直FLにおける並列分散ロジスティック回帰の実現性を示す。
• 大規模な訓練データ量に対してサーバークラスタを使用した場合のシステムのスケーラビリティを示す。
• 垂直FL設定での並列分散アプローチによる性能向上を検証する。