[논문 리뷰] FedALA: Adaptive Local Aggregation for Personalized Federated Learning

Jianqing Zhang, Hua Yang외 5명|arXiv (Cornell University)|2022. 12. 02.

Privacy-Preserving Technologies in Data인용 수 15

한 줄 요약

FedALA는 각 클라이언트의 로컬 목적에 기반해 글로벌 모델과 로컬 모델을 요소별로 적응적으로 혼합하는 적응형 국소 집계(Adaptive Local Aggregation, ALA) 모듈을 제안한다. 이는 통신 오버헤드를 최소화하면서도 기존의 플러그-인 가능한 플랫폼에 넓은 적용성을 가지며, 다섯 개인 벤치마크 데이터셋에서 테스트 정확도를 최대 3.27% 향상시킨다.

ABSTRACT

A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.

연구 동기 및 목표

• 로컬 모델 초기화를 향상시켜 플러그-인 학습에서 통계적 이종성 문제를 해결하기 위해 관련된 글로벌 모델 정보를 활용한다.
• 기존의 개인화된 플러그-인 학습 방법들이 글로벌 모델의 모든 파라미터를 동일하게 취급하거나 높은 통신 오버헤드를 요구하는 한계를 극복한다.
• 핵심 플러그-인 학습 프로세스를 수정하지 않고도 각 클라이언트의 로컬 목적에 적응하는 경량이며 통신 효율적인 모듈을 개발한다.
• 글로벌 모델에서 유용한 정보를 정밀하게 요소별로 캡처하여 로컬 모델 성능을 향상시킨다.
• ALA 모듈이 다양한 플러그-인 학습 및 개인화된 플러그-인 학습 기반 모델에 일반화 가능함을 입증한다.

제안 방법

• 로컬 손실 기울기 기반으로 실수 값의 요소별 가중치를 계산하여 글로벌 모델과 로컬 모델을 혼합하는 적응형 국소 집계(Adaptive Local Aggregation, ALA) 모듈을 도입한다.
• 로컬 데이터셋 전체를 사용하여 ALA 모듈을 훈련시켜 초기화된 모델이 로컬 목적과 일치하도록 하며, 로컬 손실을 최소화하는 데 초점을 맞춘다.
• 딥 네URAL 네트워크의 고차원 레이어에만 ALA를 적용하여 계산 비용을 줄이면서도 성능을 유지한다.
• 표준 FedAvg 통신 패턴을 유지한다—라운드당 글로벌 모델 한 번 다운로드 및 로컬 모델 한 번 업로드만으로 통신 오버헤드를 최소화한다.
• 기존의 플러그-인 학습 및 pFL 프레임워크에 최소한의 수정으로 통합하여 즉시 사용 가능한 성능 향상을 가능하게 한다.
• PCA 기반 시각화를 사용하여 로컬 모델의 경로를 분석하고, 로컬 최소값 방향으로 업데이트 방향을 수정함을 입증한다.

실험 결과

연구 질문

• RQ1 데이터 이종성 하에서 글로벌 모델과 로컬 모델을 적응적이고 요소별로 집계하는 것이 개인화된 플러그-인 학습 성능을 향상시킬 수 있는가?
• RQ2 글로벌 모델에서 원하는 정보만 캡처하는 것이 단순한 글로벌 모델 재사용보다 더 나은 로컬 모델 수렴을 이끌어내는가?
• RQ3 ALA 모듈은 핵심 훈련 프로세스를 수정하지 않고도 표준 및 개인화된 플러그-인 학습 방법에 효과적으로 적용될 수 있는가?
• RQ4 클라이언트 수가 증가하고 데이터의 비IIDs도 다양해질 경우 ALA는 어떻게 성능을 발휘하는가?
• RQ5 ALA는 로컬 모델의 업데이트 방향을 수정하여 로컬 최소값으로의 수렴 속도를 높이는가?

주요 결과

• FedALA는 다섯 개인 벤치마크 데이터셋에서 11개의 최신 개인화된 플러그-인 학습 방법보다 최대 3.27% 높은 테스트 정확도를 기록한다.
• 디리클레 분포의 β=0.5와 같은 극도로 이종적인 설정에서도 FedALA는 강력한 성능 유지를 보이며, 많은 베이스라인 메서드는 성능이 급격히 떨어진다.
• 100명의 클라이언트가 있는 환경에서 FedALA는 정확도가 1% 미만으로 떨어지며, 다른 pFL 방법들에 비해 뛰어난 확장성을 보인다.
• FedAvg와 FedProx에 ALA 모듈을 적용했을 때도 정확도 향상이 뚜렷하게 나타나, 표준 플러그-인 학습 프레임워크에 넓은 적용성을 보여준다.
• 기본 메서드가 일반적인 특징을 강조하더라도 FedRep에 대해 0.60% 이상, FedPHP에 대해도 뚜렷한 정확도 향상을 이룬다.
• 시각화 결과는 ALA가 FedAvg와 달리 로컬 모델의 업데이트 방향을 수정하여 로컬 손실 최소값으로 향하게 함을 확인한다.