[논문 리뷰] Federated Learning with Partial Model Personalization

Krishna Pillutla, Kshitiz Malik외 4명|arXiv (Cornell University)|2022. 04. 08.

Privacy-Preserving Technologies in Data인용 수 26

한 줄 요약

논문은 비볼록성의 부분 참여 설정에서 부분 개인화 모델을 위한 두 가지 연합 학습 알고리즘(FedAlt 및 FedSim)을 분석하고 수렴을 증명하며, 부분 개인화가 개인화 파라미터의 소량 비율로도 전체 개인화와 거의 일치할 수 있음을 보여주고, FedAlt가 일반적으로 FedSim보다 우수한 성능을 발휘합니다.

ABSTRACT

We consider two federated learning algorithms for training partially personalized models, where the shared and personal parameters are updated either simultaneously or alternately on the devices. Both algorithms have been proposed in the literature, but their convergence properties are not fully understood, especially for the alternating variant. We provide convergence analyses of both algorithms in the general nonconvex setting with partial participation and delineate the regime where one dominates the other. Our experiments on real-world image, text, and speech datasets demonstrate that (a) partial personalization can obtain most of the benefits of full model personalization with a small fraction of personal parameters, and, (b) the alternating update algorithm often outperforms the simultaneous update algorithm by a small but consistent margin.

연구 동기 및 목표

• 연합 학습에서 메모리 절감을 위해 부분 모델 개인화를 촉진하고 성능을 유지합니다.
• 공유 매개변수와 개인 매개변수를 위한 두 가지 업데이트 스킴(FedAlt 및 FedSim)을 개발하고 분석합니다.
• 비볼록성, 부분 참여 하에서 수렴 보장을 제공합니다.
• 다양한 데이터셋(이미지, 텍스트, 음성)에 걸쳐 개인화 스킴을 경험적으로 비교합니다.
• 부분 개인화가 유리한 경우와 한계에 대한 실용적인 가이드라인을 제시합니다.

제안 방법

• 공유 매개변수 u와 기기별 개인 매개변수 v_i를 두는 최적화 문제를 형식화합니다(문제 (3)).
• 표준 FL 라운드 내에서 두 가지 알고리즘을 연구합니다: FedSim(동시 업데이트)과 FedAlt(교대 업데이트).
• 로컬 업데이트 절차를 제공합니다: LocalAlt(먼저 개인 업데이트 후 공유 업데이트)와 LocalSim(동시 업데이트)로, 확률적 기울기를 사용합니다.
• 의사적 전체 참여 기법을 사용하여 의존적 무작위를 처리하며, 매끄러운 비볼록 설정에서 부분 참여 하 수렴을 증명합니다.
• 문제 의존적 유효 잡음 분산을 갖는 1/sqrt(T) 및 1/T^{2/3} 속도 수렴 경계를 도출합니다.
• 작업별(이미지, 텍스트, 음성)로 이론적 및 실험적으로 FedAlt와 FedSim를 비교합니다.]

실험 결과

연구 질문

• RQ1 부분 개인화가 작은 파라미터 규모로도 전체 개인화의 이점을 대부분 얻을 수 있는가?
• RQ2 부분 기기 참여 하에서 일반적인 비볼록 목표에 대해 FedAlt와 FedSim의 수렴 성능은 어떠한가?
• RQ3 수렴 및 실증 성능에서 FedAlt가 FedSim보다 우세한 조건은 무엇인가?
• RQ4 입력 계층, 출력 계층, 어댑터 등 서로 다른 개인화 분할이 성능과 메모리 사용에 어떤 영향을 미치는가?
• RQ5 실제 FL 배포에서 개인화 전략을 선택하기 위한 실용적 가이드라인은 무엇인가?

주요 결과

• 부분 개인화는 전체 개인화의 이점을 대부분 얻으면서도 개인화 파라미터의 아주 작은 비율만을 사용합니다.
• 부분 참여 하에서도 FedAlt는 수렴하고, 실제로는 FedSim보다 작은 but 일관된 차이로 우수한 성능을 보입니다.
• 두 가지 수렴 체계가 나타나며, 디바이스 측 개인 기울기 잡음이 낮고 결합이 보통일 때 FedAlt가 FedSim를 지배할 수 있습니다.
• 개인화 전략(입력 계층, 출력 계층, 어댑터)은 작업 및 데이터에 따라 성능이 달라지며, 어댑터는 일반적으로 전체 개인화와 비슷하거나 더 우수한 성능을 modest한 개인화 예산으로 제공합니다.
• 일부 디바이스에서 개인화가 성능을 해칠 수 있어 평균 이득뿐 아니라 형평성 문제를 함께 다룰 필요가 있음을 시사합니다.
• 이미지, 텍스트, 음성의 다양한 작업에서 부분 개인화는 현실적인 데이터셋에 대해 강한 실증적 이점을 보입니다.