[논문 리뷰] FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks

Ali Abedi, Shehroz S. Khan|arXiv (Cornell University)|2020. 11. 06.

Privacy-Preserving Technologies in Data인용 수 14

한 줄 요약

이 논문은 순차적으로 분할된 데이터에서 Recurrent Neural Networks (RNNs)를 훈련하기 위한 새로운 피어드 스플릿 러닝 프레임워크인 FedSL을 제안한다. 이 프레임워크는 원시 데이터나 완전한 모델 파라미터를 공유하지 않으면서도, 여러 클라이언트에 분산된 단일 시퀀스의 여러 세그먼트에 걸쳐 훈련을 수행한다. RNN을 로컬에서 훈련되는 순차 세그먼트에 맞게 하위 네트워크로 분할하고, 클라이언트 간 통신을 통해 잠재적 의존성을 유지함으로써 FedSL은 통신 라운드 수를 줄이며 기존의 FedAvg 및 중심화된 학습보다 더 높은 정확도를 달성하면서도 프라이버시를 보존한다.

ABSTRACT

Federated Learning (FL) and Split Learning (SL) are privacy-preserving Machine-Learning (ML) techniques that enable training ML models over data distributed among clients without requiring direct access to their raw data. Existing FL and SL approaches work on horizontally or vertically partitioned data and cannot handle sequentially partitioned data where segments of multiple-segment sequential data are distributed across clients. In this paper, we propose a novel federated split learning framework, FedSL, to train models on distributed sequential data. The most common ML models to train on sequential data are Recurrent Neural Networks (RNNs). Since the proposed framework is privacy-preserving, segments of multiple-segment sequential data cannot be shared between clients or between clients and server. To circumvent this limitation, we propose a novel SL approach tailored for RNNs. A RNN is split into sub-networks, and each sub-network is trained on one client containing single segments of multiple-segment training sequences. During local training, the sub-networks on different clients communicate with each other to capture latent dependencies between consecutive segments of multiple-segment sequential data on different clients, but without sharing raw data or complete model parameters. After training local sub-networks with local sequential data segments, all clients send their sub-networks to a federated server where sub-networks are aggregated to generate a global model. The experimental results on simulated and real-world datasets demonstrate that the proposed method successfully trains models on distributed sequential data, while preserving privacy, and outperforms previous FL and centralized learning approaches in terms of achieving higher accuracy in fewer communication rounds.

연구 동기 및 목표

• 연속된 시퀀스 세그먼트가 서로 다른 클라이언트에 분산 저장되는 순차적으로 분할된 데이터에 대해 피어드 러닝 및 스플릿 러닝의 격차를 메우기.
• 클라이언트 또는 서버 간 원시 데이터, 레이블, 또는 완전한 모델 파라미터를 공유하지 않고도 RNN의 프라이버시를 보존하는 훈련을 가능하게 하기.
• 분산된 시퀀스 세그먼트 간 잠재적 의존성을 유지할 수 있도록 RNN에 특화된 새로운 스플릿 러닝 접근법 개발하기.
• 클라이언트 간 스플릿 러닝과 클라이언트-서버 간 평균화를 통합하여 통합된 협업 훈련 프레임워크 구축하기.
• 기존의 FL 및 중심화된 학습 방법과 비교해 본다면, 제안된 방법이 더 적은 통신 라운드 수로 더 높은 모델 정확도를 달성하는지 입증하기.

제안 방법

• 단일 시퀀스의 첫 번째 세그먼트를 클라이언트에서 훈련하는 하위 네트워크와 두 번째 세그먼트를 다른 클라이언트에서 훈련하는 하위 네트워크로 RNN을 분할하기.
• 스플릿 러닝 중 클라이언트 간 통신을 통해 첫 번째 하위 네트워크의 최종 은닉 상태를 두 번째 하위 네트워크의 은닉 상태 초기화에 사용함으로써 순차적 의존성을 유지하기.
• 모든 클라이언트가 로컬에서 훈련한 하위 네트워크를 중앙 서버에 전송하여 글로벌 모델로 집계하는 피어드 평균화 전략 사용하기.
• 원시 데이터나 완전한 모델 파라미터를 클라이언트 간 또는 클라이언트-서버 간 공유하지 않고, 로컬 순차 데이터 세그먼트를 기반으로 하위 네트워크를 로컬에서 훈련하기.
• 시뮬레이션 및 실제 순차 데이터 세트(예: 환자 사망 예측을 위한 eICU 데이터셋)에 FedSL 프레임워크 적용하기.
• LoAdaBoost FedAvg와 FedSL을 통합하여 성능을 추가로 향상시키고, 기존의 FL 최적화 기법과의 호환성을 입증하기.

실험 결과

연구 질문

• RQ1 연속된 시퀀스 세그먼트가 서로 다른 클라이언트에 분산 저장되는 순차적으로 분할된 데이터에서 RNN을 훈련할 수 있는 피어드 러닝 프레임워크를 설계할 수 있는가?
• RQ2 스플릿 러닝을 RNN에 어떻게 적용하여 원시 데이터나 모델 파라미터를 공유하지 않고도 분산된 시퀀스 세그먼트 간의 잠재적 의존성을 유지할 수 있는가?
• RQ3 제안된 FedSL 프레임워크는 통신 라운드 수를 줄이며 FedAvg 및 중심화된 학습보다 더 높은 모델 정확도를 달성하는가?
• RQ4 데이터 분할 방식(IID 대 비-IID), 배치 크기, 로컬 에포크 수에 따라 FedSL의 성능은 어떻게 변하는가?
• RQ5 LoAdaBoost FedAvg와 같은 기존의 FL 최적화 기법과의 통합을 통해 FedSL을 향상시킬 수 있는가?

주요 결과

• 제안된 FedSL 프레임워크는 원시 데이터, 레이블, 또는 완전한 모델 파라미터를 공유하지 않으면서도 분산된 순차 데이터에서 RNN을 성공적으로 훈련하며 프라이버시를 보존한다.
• eICU 데이터셋에서 FedSL은 FedAvg 및 LoAdaBoost FedAvg보다 더 높은 AUC-ROC를 달성했으며, FedSL과 LoAdaBoost의 조합은 모든 테스트 설정에서 LoAdaBoost FedAvg를 능가하는 성능을 보였다.
• RNN에 대한 스플릿 러닝 방법은 중심화된 학습에 매우 가까운 AUC-ROC 값을 기록했으며, 배치 크기가 8과 64일 때조차도 작은 격차만 존재하여 강력한 수렴성과 성능을 입증했다.
• FedSL은 비교적 유사하거나 더 높은 정확도를 달성하기 위해 FedAvg보다 더 적은 통신 라운드 수가 필요했으며, 이는 통신 효율성 향상을 시사한다.
• 클라이언트에서 IID 및 비-IID 데이터 분포를 사용할 때 FedSL은 정확도 측면에서 FedAvg 및 중심화된 학습을 모두 능가했다.
• LoAdaBoost FedAvg와의 통합을 통해 FedSL의 성능이 추가로 향상되었으며, 이는 프레임워크가 고급 FL 최적화 전략과 호환됨을 보여준다.