[논문 리뷰] Efficient Personalized Federated Learning via Sparse Model-Adaptation

Daoyuan Chen, Liuyi Yao외 3명|arXiv (Cornell University)|2023. 05. 04.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

본 논문은 pFedGate를 소개하는데, 이는 가벼운 게이팅 계층을 통해 희소한 로컬 모델을 학습하는 개인화 연합학습 방법으로, 이질적인 데이터 및 자원 제약 하에서 개인화와 효율성을 가능하게 하며 이론적 보장과 강력한 실험적 결과를 제공합니다.

ABSTRACT

Federated Learning (FL) aims to train machine learning models for multiple clients without sharing their own private data. Due to the heterogeneity of clients' local data distribution, recent studies explore the personalized FL that learns and deploys distinct local models with the help of auxiliary global models. However, the clients can be heterogeneous in terms of not only local data distribution, but also their computation and communication resources. The capacity and efficiency of personalized models are restricted by the lowest-resource clients, leading to sub-optimal performance and limited practicality of personalized FL. To overcome these challenges, we propose a novel approach named pFedGate for efficient personalized FL by adaptively and efficiently learning sparse local models. With a lightweight trainable gating layer, pFedGate enables clients to reach their full potential in model capacity by generating different sparse models accounting for both the heterogeneous data distributions and resource constraints. Meanwhile, the computation and communication efficiency are both improved thanks to the adaptability between the model sparsity and clients' resources. Further, we theoretically show that the proposed pFedGate has superior complexity with guaranteed convergence and generalization error. Extensive experiments show that pFedGate achieves superior global accuracy, individual accuracy and efficiency simultaneously over state-of-the-art methods. We also demonstrate that pFedGate performs better than competitors in the novel clients participation and partial clients participation scenarios, and can learn meaningful sparse local models adapted to different data distributions.

연구 동기 및 목표

• 리소스 및 계산 이질성을 개인화된 연합학습(PFL)에서 다룬다.
• 로컬 데이터 분포에 적응하는 개인화된 희소 모델을 학습하되 클라이언트 리소스 한계를 준수한다.
• 희소성, 게이팅-PFL 프레임워크의 수렴 및 일반화에 대한 이론적 보장을 제공한다.
• 표준 FL 벤치마크에서 전역 및 로컬(클라이언트별) 정확도와 효율성에서 우수한 성능을 시연한다.

제안 방법

• 각 클라이언트에 대해 경량의 학습 가능한 게이팅 계층을 도입하여 로컬 데이터 배치에 조건화된 배치 수준의 블록별 희소 가중치를 생성한다.
• 공유 글로벌 모델을 요소별 게이팅을 통해 개인화된 희소 모델로 변환한다: h_theta'i = h_theta_g ∘ M'i, 이때 M'i는 희소성 제약 하에서 g_{phi_i}(x)에 의해 생성된다.
• 클라이언트별 희소성 한계를 만족하도록 예측된 블록 가중치를 배낭 문제 기반으로 조정하여 하드 희소성을 강제한다.
• 프루닝/적응을 위한 모델을 하위블록으로 유연하게 분할할 수 있도록 연산자 타입 자유 블록 분할을 지원한다.
• 희소성과 게이팅으로 인해 계산 및 통신 비용이 감소하는 공간-시간 분석을 제공하고, 밀집 기반 비교대상과의 차이를 보인다.
• 제한된 다양성과 표준 FL 가정에서 일반화 및 수렴에 대한 결과를 제시한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 데이터 및 자원 제약이 있을 때 FL에서 개인화를 어떻게 효율적으로 달성할 수 있는가?
• RQ2 공유된 글로벌 모델의 희소화된 게이트드 적응이 수렴이나 일반화를 해치지 않으면서 개별 클라이언트의 요구를 충족시킬 수 있는가?
• RQ3 희소성, 게이트된 개인화 FL의 일반화, 수렴, 복잡성에 대한 이론적 보장은 무엇인가?
• RQ4 부분 참여 표준 및 새로운 클라이언트 시나리오에서 pFedGate가 최신 PFL 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• pFedGate는 강력한 글로벌 및 개별 정확도와 함께 희소성을 크게 줄이면서도(예: 가장 강력한 경쟁 PFL 방법보다 평균 정확도 12배의 희소성으로 최대 4.53%의 평균 정확도 향상) 우수한 성능을 달성한다.
• 희소 로컬 모델과 게이팅 가중치를 공동으로 학습하여 baselines 대비 계산 및 통신 비용을 개선하고 효율성을 높인다.
• 부분 클라이언트 참여 및 새로운 클라이언트 참여 설정에서 견고함을 보이며, 데이터 분포에 맞춘 의미 있는 희소 로컬 모델을 학습한다.
• 수렴 및 일반화에 대한 이론적 보장을 제공하며, 공간-시간 복잡도 분석이 SOTA 방법들에 비해 우위를 보인다.