[論文レビュー] A Federated Learning Framework for Privacy-preserving and Parallel Training.

Tien-Dung Cao, Tram Truong-Huu+2 more|arXiv (Cornell University)|Jan 22, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用数 12

ひとこと要約

本論文では、生データや中間勾配を露呈させることなく、地理的に分散したデータセット上でプライバシーを守りながら、深層学習モデルの並列学習を可能にするFEDFというフレームワークを提案する。本手法は、中央集権的学習と比較して最大4.8倍の高速化を達成し、モデル性能は中央集権的学習の4.5%以内を維持する一方、既存手法と比較して通信オーバーヘッドを最大34%削減する。

ABSTRACT

The deployment of such deep learning in practice has been hurdled by two issues: the computational cost of model training and the privacy issue of training data such as medical or healthcare records. The large size of both learning models and datasets incurs a massive computational cost, requiring efficient approaches to speed up the training phase. While parallel and distributed learning can address the issue of computational overhead, preserving the privacy of training data and intermediate results (e.g., gradients) remains a hard problem. Enabling parallel training of deep learning models on distributed datasets while preserving data privacy is even more complex and challenging. In this paper, we develop and implement FEDF, a distributed deep learning framework for privacy-preserving and parallel training. The framework allows a model to be learned on multiple geographically-distributed training datasets (which may belong to different owners) while do not reveal any information of each dataset as well as the intermediate results. We formally prove the convergence of the learning model when training with the developed framework and its privacy-preserving property. We carry out extensive experiments to evaluate the performance of the framework in terms of speedup ratio, the approximation to the upper-bound performance (when training centrally) and communication overhead between the master and training workers. The results show that the developed framework achieves a speedup of up to 4.8x compared to the centralized training approach and maintaining the performance approximation of the models within 4.5% of the centrally-trained models. The proposed framework also significantly reduces the amount of data exchanged between the master and training workers by up to 34% compared to existing work.

研究の動機と目的

• 大規模なディープラーニングモデルを分散データセット上で学習する際の高い計算コストを低減すること。
• 特に医療記録のような機微なデータに対して、分散学習におけるデータプライバシーを保護すること。
• 生データや勾配を露呈させることなく、複数のデータ所有者間で並列学習を可能にすること。
• 提案されたフレームワーク下で、モデルの収束を保証すること。
• マスターサーバーと分散ワーカー間の通信オーバーヘッドを最小限に抑えること。

提案手法

• 各ワーカーが自らのデータセット上でローカルモデルを学習するが、生データを共有しないフェデレーテッドラーニングアーキテクチャを採用する。
• 勾配は個々のデータや中間値を露呈させることなく、中央のマスターノードで集約される。
• プライバシーを守る集約メカニズムにより、モデル更新中に単一ワーカーのデータや勾配が露出しないように保証される。
• 通信中にトレーニングデータおよび勾配情報の両方を保護するため、安全な集約技術が用いられる。
• 最適化ダイナミクスの理論的分析を用いて、最適化の収束性を形式的に証明する。
• マスターサーバーとワーカー間で交換されるデータ量を削減することで通信効率を向上させ、従来手法と比較して最大34%の削減を達成する。

実験結果

リサーチクエスチョン

• RQ1 分散型ディープラーニングフレームワークは、データプライバシーを守りながらも、顕著な高速化を達成できるか？
• RQ2 フェデレーテッドモデルの性能は、中央集権的学習モデルにどれほど近づけるか？
• RQ3 本フレームワークは、分散学習における通信オーバーヘッドをどの程度削減できるか？
• RQ4 プライバシー制約下でも、本フレームワークはモデルの収束を維持できるか？
• RQ5 本フレームワークは、医療記録のような機微なデータの保護にどの程度効果的か？

主な発見

• FEDFフレームワークは、中央集権的学習と比較して最大4.8倍の高速化を達成する。
• FEDFのモデル性能は、中央集権的学習モデルの性能と4.5%以内の差にとどまる。
• 既存のアプローチと比較して、マスターサーバーとワーカー間の通信オーバーヘッドを最大34%削減する。
• 形式的証明により、FEDFフレームワーク下でのモデル収束が確認された。
• フレームワークは、トレーニングデータおよび中間勾配の両方のプライバシーを効果的に保護する。
• 本フレームワークは、医療記録のような機微な分散データセット上でディープラーニングモデルを学習するのにも効果的である。