[논문 리뷰] FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning

Minxue Tang, Xuefei Ning외 5명|arXiv (Cornell University)|2021. 03. 24.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

FedCor는 이질적인 피어드 페더레이티드 러닝을 위한 상관관계 기반의 활성 클라이언트 선택 전략을 제안하며, 가우시안 프로세스(GP)를 사용해 클라이언트 손실 상관관계를 모델링하여 라운드당 기대 전역 손실을 최소화한다. 공분산 정적성을 활용해 효율적인 GP 학습을 구현함으로써, 최신 기술 대비 FMNIST에서 수렴 속도가 34–99% 향상되고, CIFAR-10에서는 26–51% 향상된다.

ABSTRACT

Client-wise data heterogeneity is one of the major issues that hinder effective training in federated learning (FL). Since the data distribution on each client may vary dramatically, the client selection strategy can significantly influence the convergence rate of the FL process. Active client selection strategies are popularly proposed in recent studies. However, they neglect the loss correlations between the clients and achieve only marginal improvement compared to the uniform selection strategy. In this work, we propose FedCor -- an FL framework built on a correlation-based client selection strategy, to boost the convergence rate of FL. Specifically, we first model the loss correlations between the clients with a Gaussian Process (GP). Based on the GP model, we derive a client selection strategy with a significant reduction of expected global loss in each round. Besides, we develop an efficient GP training method with a low communication overhead in the FL scenario by utilizing the covariance stationarity. Our experimental results show that compared to the state-of-the-art method, FedCorr can improve the convergence rates by $34\%\sim 99\%$ and $26\%\sim 51\%$ on FMNIST and CIFAR-10, respectively.

연구 동기 및 목표

• 페더레이티드 러닝에서 클라이언트 간 데이터 이질성 문제를 해결하여 수렴 속도와 모델 정확도를 저하시키는 요소를 제거한다.
• 기존의 활성 클라이언트 선택 전략이 클라이언트 손실을 독립적으로 다루는 데서 비롯되는 한계를 극복한다.
• 클라이언트 간 손실 상관관계를 고려한 클라이언트 선택 방법을 개발하여 수렴 속도를 향상시킨다.
• 페더레이티드 러닝에 적합한 낮은 통신 오버헤드를 갖춘 효율적인 GP 학습 방법을 설계한다.
• 비-독립적 및 불균형 데이터 설정에서 학습을 안정화하고 수렴 속도를 크게 향상시킨다.

제안 방법

• 클라이언트 손실 변화를 가우시안 프로세스(GP)로 모델링하여 클라이언트 간 상관관계를 포착한다.
• GP 기반 예측을 활용해 기대 전역 손실을 최소화하는 클라이언트 선택 전략을 수립한다.
• 공분산 정적성을 활용해 라운드 간 공분산 행렬을 재사용함으로써 GP 학습 비용을 감소시킨다.
• 선택된 클라이언트 간 의존성을 고려한 순차적 클라이언트 선택 프로세스를 구현한다.
• 시간에 따라 탐색과 이용의 균형을 맞추기 위해 선택 확률에 안내링(annealing)을 적용한다.
• 손실 변화 분포의 정규성과 안정성을 확보하기 위해 균일하게 샘플링된 클라이언트 선택을 통해 GP를 학습시킨다.

실험 결과

연구 질문

• RQ1 클라이언트 간 손실 상관관계를 모델링하면 이질적인 페더레이티드 러닝에서 더 빠른 수렴을 이끌 수 있는가?
• RQ2 독립적 선택 전략에 비해 GP 기반 클라이언트 선택 전략이 기대 전역 손실을 더 효과적으로 줄일 수 있는가?
• RQ3 페더레이티드 러닝 학습에서 공분산 정적성이 어느 정도 유지되는가? 이는 효율적인 GP 추론을 가능하게 하는가?
• RQ4 GP 학습 간격과 안내링 계수와 같은 하이퍼파rameter에 대해 제안된 방법이 얼마나 민감한가?
• RQ5 균일 선택 및 손실 기반 선택에 비해 상관관계 인식 선택 전략이 수렴 속도와 최종 정확도 측면에서 뛰어난가?

주요 결과

• FedCor는 최신 기술 대비 FMNIST에서 수렴 속도를 34–99% 향상시켰다.
• CIFAR-10에서는 기존 접근법 대비 수렴 속도가 26–51% 향상되었다.
• 제안된 방법은 하이퍼파rameter에 대해 강건하다: 안내링 계수 β를 변화시켜도 수렴 및 최종 정확도에 미미한 영향을 미친다.
• 정규성 및 공분산 정적성 검증을 통해 GP 모델이 클라이언트 손실 상관관계를 정확히 포착함을 입증했다.
• 연속된 공분산 행렬 간 유사도가 0.9 이상으로 유지되어 효율적인 GP 업데이트를 가능하게 했다.
• 상관관계 인식을 고려한 순차적 선택은 균일한 랜덤 선택보다 성능이 뛰어나, 클라이언트 조합의 중요성이 개별 클라이언트의 품질보다 더 크다는 것을 입증했다.