[논문 리뷰] LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets

Ang Li, Jingwei Sun외 5명|arXiv (Cornell University)|2020. 08. 07.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 73

한 줄 요약

LotteryFL는 각 클라이언트별로 로터리 티켓 서브네트워크(LTNs)를 학습하고 교환하여 federated learning을 개인화하며, non-IID 데이터에서 더 낮은 통신 비용으로 더 나은 개인화를 달성한다.

ABSTRACT

Federated learning is a popular distributed machine learning paradigm with enhanced privacy. Its primary goal is learning a global model that offers good performance for the participants as many as possible. The technology is rapidly advancing with many unsolved challenges, among which statistical heterogeneity (i.e., non-IID) and communication efficiency are two critical ones that hinder the development of federated learning. In this work, we propose LotteryFL -- a personalized and communication-efficient federated learning framework via exploiting the Lottery Ticket hypothesis. In LotteryFL, each client learns a lottery ticket network (i.e., a subnetwork of the base model) by applying the Lottery Ticket hypothesis, and only these lottery networks will be communicated between the server and clients. Rather than learning a shared global model in classic federated learning, each client learns a personalized model via LotteryFL; the communication cost can be significantly reduced due to the compact size of lottery networks. To support the training and evaluation of our framework, we construct non-IID datasets based on MNIST, CIFAR-10 and EMNIST by taking feature distribution skew, label distribution skew and quantity skew into consideration. Experiments on these non-IID datasets demonstrate that LotteryFL significantly outperforms existing solutions in terms of personalization and communication cost.

연구 동기 및 목표

• 연합 학습에서 통계적 이질성(비IID 데이터)을 해결하고 클라이언트별 개인화를 가능하게 한다.
• 전체 모델 대신 컴팩트한 lottery ticket subnetworks를 전송하여 FL의 통신 오버헤드를 줄인다.
• Lottery Ticket 가설을 활용하여 각 클라이언트의 데이터에 맞춘 희소하고 학습 가능한 subnetworks를 식별한다.
• 비IID 조건에서의 FL 연구를 촉진하기 위해 비IID 데이터셋과 데이터 이질성을 정량화하는 지표를 제공한다.

제안 방법

• 각 클라이언트는 로컬 데이터를 사용하여 기반 모델을 가지치기(pruning)하여 Lottery Ticket Network (LTN)를 학습한다.
• 서버와 클라이언트 간에 전달되는 것은 오직 LTNs뿐이며; 서버는 FedAvg를 통해 LTNs을 집계한다.
• LTNs은 공통 베이스라인에서 재초기화되고 라운드별로 다시 가지치기되어 로컬 데이터에 적응한다.
• 클라이언트 검증이 가지치기와 마스크 업데이트를 결정하여 다음 라운드를 위한 개인화된 마스크를 생성한다.
• 서버는 클라이언트로부터 수신한 LTNs를 집계해 글로벌 베이스 모델를 업데이트한다.
• 새로운 비IID 데이터 생성 프로토콜과 Client-Wise Non-IID Index (CNI) 지표가 도입된다.

실험 결과

연구 질문

• RQ1 LotteryFL가 표준 FL 베이스라인보다 비IID 데이터에서 더 나은 개인화를 달성하는가?
• RQ2 전체 모델 대신 LTNs를 교환함으로써 통신 비용을 크게 줄일 수 있는가?
• RQ3 CNI로 측정된 비IID 데이터의 정도가 LotteryFL 성능에 어떤 영향을 미치는가?
• RQ4 개인화된 FL 설정에서 가지치기 비율과 모델 성능 간의 트레이드오프는 무엇인가?

주요 결과

• LotteryFL은 MNIST, CIFAR-10, EMNIST 비IID 데이터셋에서 FedAvg, LG-FedAvg, Standalone 베이스라인에 비해 우수한 개인화와 더 낮은 통신 비용을 달성한다.
• LTNs는 매우 희박하고 개인화되어 있으며, 가지치기가 증가함에 따라 매개변수의 큰 비율이 개별 클라이언트에 고유하다.
• 타깃 가지치기 비율을 높이는 것은 일반적으로 각 계층의 개인화된 매개변수 비율을 증가시키고 정확도를 유지하거나 향상시킨다.
• 라운드당 더 많은 참여 클라이언트는 모든 방법의 개인화를 향상시키며, LotteryFL은 최고의 성능과 가장 낮은 통신 비용을 유지한다.
• 각 클라이언트당 클래스당 더 많은 데이터(더 많은 샘플)는 수렴 속도를 높여 더 공격적인 가지치기와 추가적인 통신 절감을 가능하게 한다.
• 저자들은 Client-Wise Non-IID Index (CNI)를 간단한 고정 인코더 기반의 클라이언트 간 데이터 이질성 측정 지표로 제안하고 검증한다.