[논문 리뷰] Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection

Guangyuan Shen, Dehong Gao외 5명|arXiv (Cornell University)|2022. 01. 15.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 통신 효율적인 분산 학습에서 클라이언트 이질성으로 인한 모델 업데이트의 고분산 문제를 줄이기 위해 이질적 분산 학습에서 계층적 클라이언트 선택 방법을 제안한다. 로컬 데이터 분포에 따라 클라이언트를 그룹화하고 각 계층에 대해 샘플 할당을 최적화함으로써, 제한된 샘플링 비율에서도 최신 기술 대비 뛰어난 성능을 달성한다.

ABSTRACT

Client selection strategies are widely adopted to handle the communication-efficient problem in recent studies of Federated Learning (FL). However, due to the large variance of the selected subset's update, prior selection approaches with a limited sampling ratio cannot perform well on convergence and accuracy in heterogeneous FL. To address this problem, in this paper, we propose a novel stratified client selection scheme to reduce the variance for the pursuit of better convergence and higher accuracy. Specifically, to mitigate the impact of heterogeneity, we develop stratification based on clients' local data distribution to derive approximate homogeneous strata for better selection in each stratum. Concentrating on a limited sampling ratio scenario, we next present an optimized sample size allocation scheme by considering the diversity of stratum's variability, with the promise of further variance reduction. Theoretically, we elaborate the explicit relation among different selection schemes with regard to variance, under heterogeneous settings, we demonstrate the effectiveness of our selection scheme. Experimental results confirm that our approach not only allows for better performance relative to state-of-the-art methods but also is compatible with prevalent FL algorithms.

연구 동기 및 목표

• 통신 효율적인 분산 학습에서 클라이언트 이질성으로 인한 모델 업데이트의 고분산 문제를 해결한다.
• 이전 방법이 성능을 발휘하지 못하는 제한된 샘플링 비율 하에서 수렴성과 정확도를 향상시킨다.
• 로컬 데이터 분포에 기반해 근사적으로 동질적인 계층을 형성함으로써 데이터 분포 이질성을 고려한 클라이언트 선택 전략을 개발한다.
• 계층 간의 변동성에 따라 전체 분산을 최소화하는 데 초점을 맞춘 계층 간 샘플 크기 할당을 최적화한다.
• 이론적 및 실험적 방법으로 제안된 선택 기법이 이질적 분산 학습 환경에서 기존 방법보다 열등하지 않음을 입증한다.

제안 방법

• 로컬 데이터 분포에 따라 클라이언트를 계층화하여 상대적으로 동질적인 그룹을 형성함으로써 계층 간 이질성을 줄인다.
• 고정된 총 샘플링 비율 하에서 전체 분산을 최소화하는 목적 함수를 적용하여 계층 간 최적의 샘플 크기 할당을 유도한다.
• 계층별로 추정된 분산을 활용하여 할당을 지시하며, 더 높은 변동성을 보이는 계층에 더 큰 샘플을 배정함으로써 전체 업데이트 분산을 감소시킨다.
• 아키텍처 변경 없이 기존의 분산 학습 알고리즘과 통합 가능하다.
• 이론적 분석을 통해 이질적 데이터 하에서 다양한 선택 전략의 명시적 분산 경계를 확립한다.
• 기존 표준 분산 학습 훈련 파이프라인과 호환되어 즉시 적용이 가능하다.

실험 결과

연구 질문

• RQ1 제한된 샘플링 비율 하에서 클라이언트 선택 분산은 이질적 분산 학습에서 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ2 로컬 데이터 분포에 따라 클라이언트를 계층화하면 분산 학습에서 모델 업데이트의 분산을 줄일 수 있는가?
• RQ3 이질적인 계층 간에서 전체 선택 분산을 최소화하는 최적의 샘플 크기 할당 전략은 무엇인가?
• RQ4 제안된 방법은 기존 클라이언트 선택 전략 대비 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 표준 분산 학습 알고리즘과 얼마나 잘 호환되는가?

주요 결과

• 제안된 계층적 클라이언트 선택 방법은 이질적 분산 학습에서 균일 및 무작위 선택 전략보다 업데이트 분산을 감소시킨다.
• 계층 간 최적의 샘플 크기 할당은 수렴 속도 향상과 더 높은 최종 모델 정확도를 이끈다.
• 동일한 샘플링 비율 하에서 최신 기술 기준보다 뛰어난 성능을 달성한다.
• 이론적 분석을 통해 제안된 기법이 이질적 데이터 하에서 기존 선택 방법보다 낮은 분산을 달성함을 확인한다.
• 실험 결과는 다양한 표준 분산 학습 알고리즘과 벤치마크 데이터셋에서 호환성과 일관된 성능 향상을 입증한다.