[논문 리뷰] Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity

Saeed Vahidian, Mahdi Morafah외 1명|arXiv (Cornell University)|2021. 05. 02.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 5

한 줄 요약

이 논문은 데이터 이질성 하에서 효율적이고 정확한 개인화를 가능하게 하는, 하이브리드(구조적 및 비구조적) 프루닝을 사용하는 개인화된 피드포워드 학습 프레임워크인 Sub-FedAvg를 제안한다. 공유 파라미터를 프루닝하고 개인화된 파라미터를 유지함으로써, 정확도 손실 없이 통신 비용을 최대 10배까지 줄이고 수렴 속도를 높인다. 이는 CIFAR-10/100, MNIST, EMNIST에서 최신 기준 기반 모델들을 능가한다.

ABSTRACT

The traditional approach in FL tries to learn a single global model collaboratively with the help of many clients under the orchestration of a central server. However, learning a single global model might not work well for all clients participating in the FL under data heterogeneity. Therefore, the personalization of the global model becomes crucial in handling the challenges that arise with statistical heterogeneity and the non-IID distribution of data. Unlike prior works, in this work we propose a new approach for obtaining a personalized model from a client-level objective. This further motivates all clients to participate in federation even under statistical heterogeneity in order to improve their performance, instead of merely being a source of data and model training for the central server. To realize this personalization, we leverage finding a small subnetwork for each client by applying hybrid pruning (combination of structured and unstructured pruning), and unstructured pruning. Through a range of experiments on different benchmarks, we observed that the clients with similar data (labels) share similar personal parameters. By finding a subnetwork for each client ...

연구 동기 및 목표

• 비독립 동일 분포(Non-IID) 데이터 분포 하에서 단일 글로벌 모델이 클라이언트 간에 일반화되지 못하는 문제를 해결하기 위해.
• 정확도를 희생시키지 않고 구조적 및 비구조적 프루닝을 통해 모델 업데이트를 압축함으로써 피드포워드 학습에서 통신 오버헤드를 줄이기 위해.
• 클라이언트가 개인화된 서브넷을 통해 자신의 성능을 향상시킬 수 있도록 하여 피드포워드 학습에서의 참여 유인성을 높이기 위해.
• 클라이언트가 데이터를 공유하거나 레이블 유사성에 대한 지식을 제공할 필요 없이, 내재된 데이터 이질성을 바탕으로 개인화된 서브넷을 식별할 수 있는 방법을 개발하기 위해.

제안 방법

• 해당 방법은 각 참가자에 대해 클라이언트 전용 서브넷을 식별하기 위해 구조적 및 비구조적 프루닝을 조합한 하이브리드 프루닝 전략을 적용한다.
• 비구조적 프루닝은 임계값 이하의 개별 가중치를 제거하는 반면, 구조적 프루닝은 전체 필터나 채널을 제거하여 모델 크기와 FLOPs를 줄인다.
• 서버는 각 클라이언트의 서브넷에 남아 있는 비프루닝된 파라미터에 대해서만 파라미터 평균화를 수행하며, 이를 Sub-FedAvg라고 부르며 통신 효율성을 향상시킨다.
• 클라이언트는 로컬로 모델을 학습하고, 프루닝된 개인화된 서브넷 파라미터만 서버에 전송함으로써 통신 부담을 줄인다.
• 프레임워크는 통계적 이질성을 이점으로 활용한다: 유사한 데이터 분포를 가진 클라이언트는 자연스럽게 유사한 서브넷을 개발하게 되어 효과적인 개인화가 가능해진다.
• 이 방법은 레이블 분포나 클라이언트 유사성에 대한 사전 지식이 필요 없어 실세계 적용에 실용적이다.

Figure 1: Test accuracy vs pruning percentage result of the proposed Sub-FedAvg (Un) on some sampled clients on LeNet-5 for CIFAR-10.

실험 결과

연구 질문

• RQ1 클라이언트가 데이터나 레이블 정보를 공유할 필요 없이, 개인화된 피드포워드 학습 프레임워크가 효과적인 개인화를 달성할 수 있는가?
• RQ2 비독립 동일 분포 데이터 하에서 정확도를 유지하거나 향상시키면서 통신 비용을 크게 줄일 수 있는가?
• RQ3 하이브리드 프루닝을 통한 서브넷 식별이 개인화된 피드포워드 학습에서 더 빠른 수렴과 더 낮은 FLOP 사용을 이끌 수 있는가?
• RQ4 클라이언트 전용 서브넷 아키텍처가 명시적 조율 없이도 데이터 이질성으로 인해 자연스럽게 발생하는 정도는 어느 정도인가?

주요 결과

• Sub-FedAvg (Un)는 단지 100회의 통신 라운드 후 MNIST에서 99.5%의 테스트 정확도와 CIFAR-10에서 86%의 정확도를 기록했으며, 유사하거나 더 낮은 라운드 수에서 FedAvg 및 기타 기준 모델들을 능가했다.
• 이전 연구 대비 통신 라운드 수를 2–10배까지 줄였으며, CIFAR-10의 수렴은 FedAvg보다 약 3배 적은 라운드 수로 이루어졌다.
• 공통적이고 비개인화된 가중치를 프루닝함으로써 효율적인 서브넷 압축 덕분에 통신 비용이 최대 10배까지 감소했다.
• LeNet-5의 경우 약 50%의 FLOP 감소와 함께 38%의 파라미터 절감을 달성했으며, 주로 완전 연결층과 컨볼루션 필터에서 프루닝된 덕분이었다.
• 정확도를 유지하면서 모델 크기와 추론 복잡도를 크게 줄여 효율성과 효과성을 동시에 입증했다.
• 유사한 데이터 분포를 가진 클라이언트들은 유사한 서브넷을 개발했으며, 이는 통계적 이질성이 명시적 조율 없이도 자연스러운 개인화를 가능하게 한다는 것을 확인시켰다.

Figure 2: Average test accuracy result of the proposed Sub-FedAvg (Un) versus various average pruning percentages over all clients, on LeNet-5 for CIFAR-10, MNIST and EMNIST benchmarks.