[논문 리뷰] A Federated Learning Framework for Privacy-preserving and Parallel Training.

Tien-Dung Cao, Tram Truong-Huu외 2명|arXiv (Cornell University)|2020. 01. 22.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 12

한 줄 요약

이 논문은 원시 데이터나 중간 기울기(gradient)를 폭 lộ하지 않고 지리적으로 분산된 데이터셋 간에 프라이버시를 보장하면서 병렬로 딥러닝 모델을 훈련할 수 있는 연합학습(federated learning) 프레임워크인 FEDF를 제안한다. 이는 최대 4.8배의 속도 향상을 달성하고, 중심화된 훈련 대비 모델 성능을 4.5% 이내로 유지하면서 기존 방법 대비 통신 오버헤드를 최대 34% 감소시킨다.

ABSTRACT

The deployment of such deep learning in practice has been hurdled by two issues: the computational cost of model training and the privacy issue of training data such as medical or healthcare records. The large size of both learning models and datasets incurs a massive computational cost, requiring efficient approaches to speed up the training phase. While parallel and distributed learning can address the issue of computational overhead, preserving the privacy of training data and intermediate results (e.g., gradients) remains a hard problem. Enabling parallel training of deep learning models on distributed datasets while preserving data privacy is even more complex and challenging. In this paper, we develop and implement FEDF, a distributed deep learning framework for privacy-preserving and parallel training. The framework allows a model to be learned on multiple geographically-distributed training datasets (which may belong to different owners) while do not reveal any information of each dataset as well as the intermediate results. We formally prove the convergence of the learning model when training with the developed framework and its privacy-preserving property. We carry out extensive experiments to evaluate the performance of the framework in terms of speedup ratio, the approximation to the upper-bound performance (when training centrally) and communication overhead between the master and training workers. The results show that the developed framework achieves a speedup of up to 4.8x compared to the centralized training approach and maintaining the performance approximation of the models within 4.5% of the centrally-trained models. The proposed framework also significantly reduces the amount of data exchanged between the master and training workers by up to 34% compared to existing work.

연구 동기 및 목표

• 분산된 데이터셋에서 대규모 딥러닝 모델을 훈련할 때 발생하는 높은 계산 비용을 해결하기 위해.
• 의료 기록과 같은 민감한 데이터에 대해 데이터 프라이버시를 유지하기 위해.
• 원시 데이터나 기울기를 폭 lộ하지 않고도 여러 데이터 소유자 간에 병렬 훈련을 가능하게 하기 위해.
• 제안된 프레임워크 하에서 모델 수렴성(수렴)을 보장하기 위해.
• 마스터와 분산 워커 간의 통신 오버헤드를 최소화하기 위해.

제안 방법

• 각 워커가 자체 데이터셋에서 로컬 모델을 훈련하고 원시 데이터를 공유하지 않는 연합학습 아키텍처를 활용한다.
• 개별 데이터나 중간 값이 드러나지 않도록 중앙 마스터 노드에서 기울기를 집계한다.
• 모든 워커의 데이터나 기울기가 모델 업데이트 중에 폭 lộ되지 않도록 프라이버시 보장 집계 메커니즘을 적용한다.
• 통신 중 훈련 데이터와 기울기 정보를 모두 보호하기 위해 안전한 집계 기법을 사용한다.
• 최적화 역학의 이론적 분석을 통해 프레임워크 하에서 모델 수렴성을 공식적으로 증명한다.
• 마스터와 워커 간에 교환되는 데이터의 양을 줄여 통신 효율성을 향상시키며, 이로 인해 기존 접근 방식 대비 최대 34%의 오버헤드 감소를 달성한다.

실험 결과

연구 질문

• RQ1 분산 딥러닝 프레임워크는 프라이버시를 보존하면서도 상당한 속도 향상을 달성할 수 있는가?
• RQ2 연합 모델의 성능은 중심화된 훈련 모델에 비해 얼마나 가까운가?
• RQ3 이 프레임워크는 분산 훈련에서 통신 오버헤드를 어느 정도 감소시키는가?
• RQ4 제안된 프레임워크는 프라이버시 제약 조건 하에서도 모델 수렴성을 유지하는가?
• RQ5 의료 기록과 같은 민감한 데이터를 보호하는 데 이 프레임워크는 얼마나 효과적인가?

주요 결과

• FEDF 프레임워크는 중심화된 훈련 대비 최대 4.8배의 속도 향상을 달성한다.
• FEDF의 모델 성능은 중심화된 훈련 모델의 성능과 4.5% 이내로 유지된다.
• 기존 접근 방식 대비 FEDF는 마스터와 워커 간의 통신 오버헤드를 최대 34% 감소시킨다.
• 공식적인 증명을 통해 FEDF 프레임워크 하에서 모델 수렴성이 확인된다.
• 이 프레임워크는 훈련 데이터와 중간 기울기의 프라이버시를 성공적으로 보존한다.
• 이 프레임워크는 의료 기록과 같은 민감한 분산 데이터셋에서 딥러닝 모델을 훈련하는 데 효과적이다.