[논문 리뷰] Improving Federated Learning Personalization via Model Agnostic Meta Learning

Yihan Jiang, Jakub Konečný외 2명|arXiv (Cornell University)|2019. 09. 27.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 368

한 줄 요약

본 논문은 Federated Averaging (FedAvg) 이 메타-학습 알고리즘으로 해석될 수 있음을 보이고, FedAvg를 미세조정 단계(Reptile/Adam)와 결합하여 개인화, 초기 모델 품질, 수렴 속도를 개선하는 Personalized FedAvg를 제시한다. 비 iid FL 설정에서.

ABSTRACT

Federated Learning (FL) refers to learning a high quality global model based on decentralized data storage, without ever copying the raw data. A natural scenario arises with data created on mobile phones by the activity of their users. Given the typical data heterogeneity in such situations, it is natural to ask how can the global model be personalized for every such device, individually. In this work, we point out that the setting of Model Agnostic Meta Learning (MAML), where one optimizes for a fast, gradient-based, few-shot adaptation to a heterogeneous distribution of tasks, has a number of similarities with the objective of personalization for FL. We present FL as a natural source of practical applications for MAML algorithms, and make the following observations. 1) The popular FL algorithm, Federated Averaging, can be interpreted as a meta learning algorithm. 2) Careful fine-tuning can yield a global model with higher accuracy, which is at the same time easier to personalize. However, solely optimizing for the global model accuracy yields a weaker personalization result. 3) A model trained using a standard datacenter optimization method is much harder to personalize, compared to one trained using Federated Averaging, supporting the first claim. These results raise new questions for FL, MAML, and broader ML research.

연구 동기 및 목표

• 데이터 이질성 속에서 Federated Learning에서 개인화의 필요성을 동기화하고 형식화한다.
• FedAvg와 MAML 유사 메타학습 방법 간의 연결을 밝힌다.
• 초기 모델 품질, 개인화, 빠른 수렴을 최적화하기 위한 두 단계의 FedAvg 기반 접근법(Personalized FedAvg)을 제안한다.
• FedAvg가 본질적으로 개인화 성능을 최적화하고, 미세조정 단계를 통해 개인화의 안정성과 효과를 향상시킴을 실증적으로 입증한다.
• 글로벌 모델 정확도가 강한 개인화를 보장하지 않으며, FL 및 MAML 연구에 대한 시사점을 논의한다.

제안 방법

• FedAvg를 메타학습 과정으로 해석하고, FedAvg를 Reptile 및 1차/2차 MAML 구성요소와 연결한다.
• 특정 조건에서 FedAvg가 FedSGD와 FOMAML 업데이트의 선형 결합과 같음을 보인다.
• Personalized FedAvg 제안: (i) 서버에서 다중 로컬 에포크 및 모멘텀으로 FedAvg를 실행, (ii) 초기 모델을 개선하기 위해 작은 K와 Adam을 사용하는 Reptile 유사 미세조정으로 전환, (iii) 학습과 동일한 클라이언트 옵티마이저를 사용하여 개인화를 계속한다.

실험 결과

연구 질문

• RQ1 FedAvg를 FL에서 개인화를 지향하는 메타학습 알고리즘으로 해석할 수 있는가?
• RQ2 로컬 에포크 수(K)와 옵티마이저의 선택이 개인화 대 초기 모델 품질에 어떤 영향을 미치는가?
• RQ3 FedAvg 학습 후 Reptile/Adam으로의 미세조정을 포함하는 2단계 학습이 초기 및 개인화 성능을 모두 향상시키는가?
• RQ4 개인화 성능은 서로 다른 데이터 영역(클라이언트 데이터 가용성 및 비 iid 설정)에서 어떻게 달라지는가?

주요 결과

실험 / 행 설명	초기 정확도	개인화 정확도	에폭/주석(또는 등가)
EMNIST-62 FedAvg E=2 (5 클라이언트/라운드)	0.7473(0.0260)	0.8292(0.0061)	310.0/63.6
EMNIST-62 FedAvg E=5 (5 클라이언트/라운드)	0.8028(0.0512)	0.8712(0.0049)	111.1/33.9
EMNIST-62 FedAvg E=10 (5 클라이언트/라운드)	0.7879(0.0316)	0.8820(0.0023)	137.5/30.0
EMNIST-62 FedAvg E=20 (5 클라이언트/라운드)	0.7430(0.0309)	0.8782(0.0021)	152.5/32.2
EMNIST-62 FedAvg E=2 (20 클라이언트/라운드)	0.8403(0.0173)	0.8957(0.0011)	82.5/50.0
EMNIST-62 FedAvg E=5 (20 클라이언트/라운드)	0.8471(0.0084)	0.9057(0.0017)	65.6/31.25
EMNIST-62 FedAvg E=10 (20 클라이언트/라운드)	0.8480(0.0036)	0.9032(0.0017)	68.7/25.0
EMNIST-62 FedAvg E=20 (20 클라이언트/라운드)	0.8391(0.0081)	0.8953(0.0022)	82.1/46.4
Shakespeare (5 클라이언트/라운드) FedAvg 결과는 비슷한 추세를 보이나 본 표에 자세히 나와 있지 않다	-	-	-
Shakespeare (20 클라이언트/라운드) FedAvg 결과는 비슷한 추세를 보이나 본 표에 자세히 나와 있지 않다	-	-	-

• FedAvg는 전역 정확도 뿐만 아니라 개인화 성능을 본질적으로 최적화하는 메타학습 알고리즘으로 볼 수 있다.
• 로컬 에포크 수(E)를 늘리면 개인화가 향상되지만 초기 모델의 안정성이 떨어질 수 있으며, 2단계 접근은 개인화를 안정화하고 개선하는 데 도움이 된다.
• 초기 모델을 Reptile(K)와 Adam으로 미세조정하면 더 넓은 하이퍼파라미터 범위에서 더 나은 및 더 안정적인 개인화 성능이 나타난다.
• 센터에 위치한 초기 모델이 중앙집중식으로 학습될 때 FedAvg로 학습된 모델보다 개인화가 더 어려운 경향이 있으며, 실제 개인화 시나리오에서 특히 그렇다.
• 동일 정확도라도 서로 다른 글로벌 모델은 매우 다른 개인화 능력을 가질 수 있어 FL 평가에서 개인화 지표에 초점을 맞출 필요성을 강조한다.