[논문 리뷰] Personalized Federated Learning: A Meta-Learning Approach

Alireza Fallah, Aryan Mokhtari외 1명|arXiv (Cornell University)|2020. 02. 19.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 363

한 줄 요약

이 논문은 MAML에서 영감을 받아 Per-FedAvg를 제안합니다. 이는 각 사용자의 로컬 데이터에 빠르게 적응하는 초기화를 학습하고, 비볼록 손실하에서의 수렴 보장을 제공합니다.

ABSTRACT

In Federated Learning, we aim to train models across multiple computing units (users), while users can only communicate with a common central server, without exchanging their data samples. This mechanism exploits the computational power of all users and allows users to obtain a richer model as their models are trained over a larger set of data points. However, this scheme only develops a common output for all the users, and, therefore, it does not adapt the model to each user. This is an important missing feature, especially given the heterogeneity of the underlying data distribution for various users. In this paper, we study a personalized variant of the federated learning in which our goal is to find an initial shared model that current or new users can easily adapt to their local dataset by performing one or a few steps of gradient descent with respect to their own data. This approach keeps all the benefits of the federated learning architecture, and, by structure, leads to a more personalized model for each user. We show this problem can be studied within the Model-Agnostic Meta-Learning (MAML) framework. Inspired by this connection, we study a personalized variant of the well-known Federated Averaging algorithm and evaluate its performance in terms of gradient norm for non-convex loss functions. Further, we characterize how this performance is affected by the closeness of underlying distributions of user data, measured in terms of distribution distances such as Total Variation and 1-Wasserstein metric.

연구 동기 및 목표

• 연방 학습에서 데이터 이질성을 해결하기 위해 사용자별 적응을 가능하게 한다.
• 모델 무관(MAML) 아이디어를 연합 평균화에 적용하여 개인화된 모델을 얻는다.
• Per-FedAvg를 개발하고 비볼록 손실에 대한 수렴을 분석한다.
• TV 및 Wasserstein 지표를 통해 사용자 간 분포 차이가 성능에 어떤 영향을 미치는지 특성화한다.

제안 방법

• MAML에서 영감을 받아 F(w)= (1/n) sum_i f_i(w - α ∇f_i(w))를 최소화하는 개인화 FL로 형식화한다.
• 로컬 업데이트가 F_i(w) = f_i(w − α ∇f_i(w))를 최적화하는 FedAvg와 유사한 Per-FedAvg를 도입한다.
• 로컬 업데이트를 수행하기 위해 그래디언트와 해essian의 편향/분산을 사용하는 편향 없는 확률적 추정치를 사용한다.
• 수렴을 확립하기 위해 매끄러움 및 그래디언트/해essian 추정의 편향/분산을 분석한다.
• 매개변수 선택(τ, K, β) 및 데이터 유사성(γ_G, γ_H)과 분포 거리의 영향이 성능에 미치는 영향을 안내한다.

실험 결과

연구 질문

• RQ1 다수의 로컬 그래디언트 단계로도 이질적인 사용자의 강한 개인화를 얻을 수 있도록 공유 초기화를 FL에서 학습할 수 있는가?
• RQ2 분포 거리(TV, Wasserstein)로 측정한 데이터 이질성이 개인화된 FL 알고리즘의 수렴 및 성능에 어떻게 영향을 미치는가?
• RQ3 비볼록 목표 및 확률적 그래디언트하에서 Per-FedAvg의 수렴 보장은 무엇인가?
• RQ4 ε-근사 일阶 정지점점을 달성하기 위해 메타 스텝 α, 로컬 업데이트 τ, 통신 라운드 K를 어떻게 선택해야 하는가?

주요 결과

데이터 세트	매개변수	알고리즘	FedAvg + 업데이트	Per-FedAvg (FO)	Per-FedAvg (HF)
MNIST	τ=10,α=0.01	FedAvg + update	75.96% ± 0.02%	78.00% ± 0.02%	79.85% ± 0.02%
MNIST	τ=4,α=0.01	FedAvg + update	60.18 % ± 0.02%	64.55% ± 0.02%	70.94% ± 0.03%
CIFAR-10	τ=10,α=0.001	FedAvg + update	40.49% ± 0.07%	46.98% ± 0.10%	50.44% ± 0.15%
CIFAR-10	τ=4,α=0.001	FedAvg + update	38.38% ± 0.07%	34.04% ± 0.08%	43.73% ± 0.11%
CIFAR-10	τ=4,α=0.01	FedAvg + update	35.97% ± 0.17%	25.32% ± 0.18%	46.32% ± 0.12%
CIFAR-10	τ=4,α=0.01,	FedAvg + update	58.59% ± 0.11%	37.71% ± 0.23%	71.25% ± 0.05%

• Per-FedAvg는 이질적인 환경에서 표준 FedAvg보다 우수하게 작동하며 해 Hessian 인식 업데이트에서 특히 그렇다.
• 수렴 분석은 이질성과 분포 근접성(γ_G, γ_H)이 비볼록한 목표 하에서 수렴 속도에 미치는 영향을 정량화한다.
• 적절한 매개변수에서 Per-FedAvg는 통신 라운드 K = O(ε^(-3/2)) 및 로컬 업데이트 τ = O(ε^(-1/2))로 ε-근사 1차 정지점을 달성한다.
• HF-MAML 변형(2차 인식)은 이질적 데이터 시나리오에서 일반적으로 FO-MAML(1차)보다 더 나은 성능을 보인다.
• MNIST와 CIFAR-10에 대한 수치 실험에서 Per-FedAvg(HF)는 FedAvg를 꾸준히 이기며 더 다양한 데이터셋에서 더 큰 이점을 보인다.