[논문 리뷰] FedGP: Correlation-Based Active Client Selection for Heterogeneous Federated Learning

Minxue Tang, Xuefei Ning외 3명|arXiv (Cornell University)|2021. 03. 24.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 14

한 줄 요약

FedGP는 이종적 분산 학습 환경에서 가우시안 프로세스(GP) 모델링을 활용해 손실 상관관계를 기반으로 한 활성 클라이언트 선택 전략을 제안한다. 이는 역사적 데이터를 활용해 통신 비용을 줄이고, 전역 손실 감소 기대치를 최대화하는 클라이언트를 선별함으로써, 최신 활성 선택 방법에 비해 FMNIST에서 1.3–2.3배, CIFAR-10에서 1.2–1.4배 빠른 수렴 속도를 달성한다.

ABSTRACT

Client-wise heterogeneity is one of the major issues that hinder effective training in federated learning (FL). Since the data distribution on each client may differ dramatically, the client selection strategy can largely influence the convergence rate of the FL process. Several recent studies adopt active client selection strategies. However, they neglect the loss correlations between the clients and achieve marginal improvement compared to the uniform selection strategy. In this work, we propose FedGP -- a federated learning framework built on a correlation-based client selection strategy, to boost the convergence rate of FL. Specifically, we first model the loss correlations between the clients with a Gaussian Process (GP). To make the GP training feasible in the communication-bounded FL process, we develop a GP training method utilizing the historical samples efficiently to reduce the communication cost. Finally, based on the correlations we learned, we derive the client selection with an enlarged reduction of expected global loss in each round. Our experimental results show that compared to the latest active client selection strategy, FedGP can improve the convergence rates by $1.3\sim2.3 imes$ and $1.2\sim1.4 imes$ on FMNIST and CIFAR-10, respectively.

연구 동기 및 목표

• 분산 학습에서 클라이언트별 데이터 이질성 문제를 해결하여 수렴 속도에 미치는 영향을 최소화한다.
• 기존 활성 클라이언트 선택 전략이 클라이언트 간 손실 상관관계를 忽시하는 한계를 극복한다.
• 더 나은 클라이언트 선택을 위해 상호 클라이언트 손실 상관관계를 모델링하는 통신 효율적인 방법을 개발한다.
• 각 FL 라운드에서 전역 손실 감소 기대치가 가장 큰 클라이언트를 선별하여 전역 모델의 수렴 속도를 가속화한다.
• 이종적 FL 환경에서 균일 선택 및 이전 활성 선택 전략에 비해 뛰어난 수렴 성능을 달성한다.

제안 방법

• 클라이언트 간 훈련 손실 간의 상관관계를 모델링하기 위해 가우시안 프로세스(GP)를 사용하여 클라이언트 간 의존성을 포착한다.
• 라운드 트립 통신 오버헤드를 최소화하기 위해 역사를 기반으로 한 클라이언트 샘플을 재사용하는 통신 효율적인 GP 훈련 방법을 설계한다.
• 학습된 GP 상관관계를 바탕으로 전역 손실 감소 기대치를 최대화하는 최적화 문제로 클라이언트 선택을 수립한다.
• 각 FL 라운드에서 클라이언트의 전역 손실 감소 기여도를 예측하여 동적으로 클라이언트를 선별하며, 현재 전역 손실과 높은 음의 상관관계를 가지는 클라이언트를 우선순위로 한다.
• 표준 FedAvg 또는 유사 알고리즘에 최소한의 수정으로 GP 기반 선택을 분산 학습 파이프라인에 통합한다.
• 클라이언트 간 유사도를 그들의 이전 손실 패턴과 데이터 특성에 기반해 코어널 함수를 사용해 GP에 통합한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 손실 상관관계를 모델링하면 이종적 분산 학습 환경에서 더 나은 클라이언트 선택과 더 빠른 수렴을 이끌 수 있는가?
• RQ2 과도한 데이터 교환 없이 통신 제약 조건이 있는 분산 학습 환경에서 가우시안 프로세스를 효율적으로 훈련할 수 있는가?
• RQ3 상호 클라이언트 손실 상관관계 정보를 통합하면 균일 선택 또는 무작위 선택 전략에 비해 수렴 속도가 향상되는가?
• RQ4 역사적 샘플을 활용해 높은 품질의 클라이언트 선택을 유지하면서 통신 비용을 얼마나 줄일 수 있는가?
• RQ5 수렴 속도와 모델 정확도 측면에서 최신 활성 클라이언트 선택 방법에 비해 FedGP는 어떻게 비교되는가?

주요 결과

• FedGP는 최신 활성 클라이언트 선택 전략에 비해 FMNIST 데이터셋에서 수렴 속도를 1.3~2.3배 향상시켰다.
• CIFAR-10 데이터셋에서는 최신 활성 선택 방법에 비해 FedGP가 수렴 속도를 1.2~1.4배 향상시켰다.
• GP 기반의 손실 상관관계 모델링은 상호 클라이언트 상관관계를 忽시하는 전략에 비해 더 효과적인 클라이언트 선택을 가능하게 한다.
• 통신 효율적인 GP 훈련 방법은 역사를 기반으로 한 클라이언트 샘플 재사용을 통해 오버헤드를 줄여 실제 분산 학습 환경에서의 확장성을 확보한다.
• FedGP는 다양한 이종적 데이터 분포 환경에서 균일 선택 및 이전 활성 선택 기반 모델에 비해 일관되게 뛰어난 성능을 보였다.
• FedGP는 심한 데이터 편향과 비독립 동일분포가 아닌 클라이언트 데이터 분포가 존재하는 환경에서도 강건성과 확장성을 입증했다.