[논문 리뷰] SplitFed: When Federated Learning Meets Split Learning

Chandra Thapa, M.A.P. Chamikara외 2명|arXiv (Cornell University)|2020. 04. 25.

Privacy-Preserving Technologies in Data인용 수 41

한 줄 요약

SplitFed 는 연합학습(Federated Learning)과 분할 학습(Split Learning)을 결합하여 분할 학습에 근접한 정확도를 달성하면서도 병렬 클라이언트 학습과 차등 개인정보보호(DP) 및 PixelDP를 통한 프라이버시 강화를 가능하게 한다.

ABSTRACT

Federated learning (FL) and split learning (SL) are two popular distributed machine learning approaches. Both follow a model-to-data scenario; clients train and test machine learning models without sharing raw data. SL provides better model privacy than FL due to the machine learning model architecture split between clients and the server. Moreover, the split model makes SL a better option for resource-constrained environments. However, SL performs slower than FL due to the relay-based training across multiple clients. In this regard, this paper presents a novel approach, named splitfed learning (SFL), that amalgamates the two approaches eliminating their inherent drawbacks, along with a refined architectural configuration incorporating differential privacy and PixelDP to enhance data privacy and model robustness. Our analysis and empirical results demonstrate that (pure) SFL provides similar test accuracy and communication efficiency as SL while significantly decreasing its computation time per global epoch than in SL for multiple clients. Furthermore, as in SL, its communication efficiency over FL improves with the number of clients. Besides, the performance of SFL with privacy and robustness measures is further evaluated under extended experimental settings.

연구 동기 및 목표

• 데이터를 공유할 수 없는 상황에서 데이터 프라이버시를 보장하는 분산 학습의 필요성을 제시한다.
• 병렬성 활용과 클라이언트 측 계산 감소를 위한 FL과 SL의 결합을 탐색한다.
• 차등 프라이버시(DP)와 PixelDP를 통해 프라이버시 및 모델 강건성을 향상시킨다.
• FL, SL, SFL 간의 정확도, 통신, 계산의 균형(Trade-offs)을 평가한다.

제안 방법

• 클라이언트 측 계산을 병렬화하고(FL과 유사) 모델을 클라이언트와 서버 간에 분할하는(SL처럼) SplitFed Learning(SFL)을 도입한다.
• 클라이언트 측 업데이트에 대해 FedAvg를 수행하고 전역 클라이언트 측 모델을 동기화하기 위해 연합 서버를 사용한다.
• 클라이언트로부터 전송된 스매시된 데이터를 서버 측 모델을 통해 처리하고 역전파를 위해 그래디언트를 교환한다.
• 클라이언트 측 학습에 차등 프라이버시를 적용하고 스매시된 데이터에 PixelDP 노이즈를 통합하여 프라이버시를 보호하고 강건성을 향상시킨다.
• 두 가지 변형: SFLV1(서버 측 병렬 실행으로 서버 측 집계) 및 SFLV2(서버 측 FedAvg 없이 순차적 서버 측 처리)를 설명한다.
• FL 및 SL과 비교한 통신 비용 및 학습 시간에 대한 총비용 분석을 제공한다.

실험 결과

연구 질문

• RQ1 SFL이 다수의 데이터셋과 아키텍처에서 SL과 비슷한 모델 정확도를 달성하는가?
• RQ2 SFL이 정확도 및 통신 효율성을 유지하면서 SL보다 글로벌 에폭당 학습 시간이 더 빠른가?
• RQ3 프라이버시 보호 메커니즘(DP 및 PixelDP)이 SFL의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ4 SFL은 클라이언트 수가 증가함에 따라 FL 및 SL과 비교해 어떻게 확장되는가?
• RQ5 SFL 변형이 FL 및 SL과 비교해 통신 및 계산 측면에서 어떤 균형을 보이는가?

주요 결과

Method	Dataset	Architecture	Normal	FL	SL	SFLV1	SFLV2
Normal	HAM10000	ResNet18	79.3%	77.5%	79.1%	79%	79.2%
Normal	HAM10000	AlexNet	80.1%	75%	73.8%	70.5%	74.9%
Normal	FMNIST	LeNet	92.7%	91.9%	90.4%	89.6%	90.4%
Normal	FMNIST	AlexNet	90.5%	89.7%	84.7%	86%	81%
Normal	CIFAR10	LeNet	72.1%	69.4%	62.7%	62.6%	63.8%
Normal	MNIST	AlexNet	98.8%	98.7%	95.1%	96.9%	92%
Normal	MNIST	ResNet18	99.3%	99.2%	99.2%	99%	99.2%

• SFL은 SL과 유사한 테스트 정확도를 달성하고, 병렬 클라이언트 처리로 인해 글로벌 에폭당 더 빠를 수 있다.
• SFL은 클라이언트 수가 증가함에 따라 FL에 비해 통신 효율이 향상되며 SL과 유사하다.
• 두 가지 DP/프라이버시 메커니즘(클라이언트 측 DP 및 PixelDP)을 SFL에 통합하여 프라이버시와 강건성을 향상시키며 수렴 및 정확도에 측정 가능한 영향을 미친다.
• 다수의 데이터셋과 아키텍처에서 FL은 종종 우수한 성능을 보이지만, SFL은 정확도 측면에서 SL과 일치하면서 병렬성의 이점을 제공한다.
• SFLV2는 일부 설정에서 중앙 집중식 학습 정확도에 근접하거나 이를 달성할 수 있으며, SFLV1은 프라이버시 강화와 함께 비슷한 성능을 제공한다.