[논문 리뷰] On the Convergence of Federated Averaging with Cyclic Client Participation

Yae Jee Cho, Pranay Sharma외 4명|arXiv (Cornell University)|2023. 02. 06.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 배터리 및 네트워크 제약으로 인해 반복 패턴으로 참여하는 클라이언트를 고려한 피드버리드 평균화(FedAvg)에 대한 이론적 분석을 처음으로 제시한다. 적절한 조건 하에서 순환적 참여 방식은 균일 샘플링보다 더 빠른 渐진 수렴 속도를 달성할 수 있음을 보여주며, 실세계 피드버리드 학습 시스템에서 효율적인 클라이언트 샘플링 프로토콜 설계에 새로운 통찰을 제공한다.

ABSTRACT

Federated Averaging (FedAvg) and its variants are the most popular optimization algorithms in federated learning (FL). Previous convergence analyses of FedAvg either assume full client participation or partial client participation where the clients can be uniformly sampled. However, in practical cross-device FL systems, only a subset of clients that satisfy local criteria such as battery status, network connectivity, and maximum participation frequency requirements (to ensure privacy) are available for training at a given time. As a result, client availability follows a natural cyclic pattern. We provide (to our knowledge) the first theoretical framework to analyze the convergence of FedAvg with cyclic client participation with several different client optimizers such as GD, SGD, and shuffled SGD. Our analysis discovers that cyclic client participation can achieve a faster asymptotic convergence rate than vanilla FedAvg with uniform client participation under suitable conditions, providing valuable insights into the design of client sampling protocols.

연구 동기 및 목표

• 실제 클라이언트 참여 패턴, 특히 순환 가용성에 대한 FedAvg 이론적 수렴 분석의 격차를 보완하기 위해.
• 배터리 및 네트워크 상태 등의 장치 수준 제약으로 인해 발생하는 순환 클라이언트 참여가 FedAvg 수렴에 미치는 영향을 모델링하고 분석하기 위해.
• 순환 대비 균일 클라이언트 샘플링 하에서 FedAvg의 수렴 행동을 비교하기 위해, 특히 다양한 클라이언트 최적화기(GD, SGD, 셔플드 SGD)를 고려하기 위해.
• 실제로 순환 참여 방식이 균일 샘플링을 능가할 수 있는 이유에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 저자들은 클라이언트 가용성을 주기적 시퀀스로 모델링하여 순환 클라이언트 참여 하에서 FedAvg 수렴을 분석할 수 있는 이론적 프레임워크를 개발하였다.
• 기울기 하강법(GD), 확률적 기울기 하강법(SGD), 셔플드 SGD를 포함한 다양한 클라이언트 최적화기를 사용한 FedAvg에 대한 수렴 경계를 유도하였다.
• 이론적 엄밀성을 확보하기 위해 클라이언트 데이터 분포, 손실 함수의 미끄러움, 유계 기울기 등의 가정을 포함하였다.
• 비i.i.d. 데이터를 고려하고 라운드 간 클라이언트 참여 빈도의 다양성을 허용하는 프레임워크를 설계하였다.
• 시간에 따른 전역 목적 함수의 기대 감소를 분석하여 수렴 속도를 유도하였다.
• 이론적 결과는 균일 샘플링과의 비교를 통해 검증되었으며, 순환 참여가 더 빠른 수렴을 이끌어내는 조건을 부각시켰다.

실험 결과

연구 질문

• RQ1 순환 클라이언트 참여 방식을 사용한 FedAvg는 균일 클라이언트 참여 방식을 사용한 FedAvg보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 클라이언트 최적화기(GD, SGD, 셔플드 SGD)의 선택이 순환 참여 하에서 수렴에 어떤 영향을 미치는가?
• RQ3 순환 클라이언트 참여가 균일 샘플링 대비 더 향상된 渐진 수렴 속도를 제공하는 조건은 무엇인가?
• RQ4 클라이언트 가용성이 주기적이고 비균일한 패턴을 따를 경우 FedAvg에 대해 어떤 이론적 보장이 가능할 수 있는가?

주요 결과

• 적절한 조건, 예를 들어 유리한 데이터 분포와 유계 기울기 하에서 순환 클라이언트 참여 방식은 균일 클라이언트 참여 방식보다 더 빠른 渐진 수렴 속도를 달성할 수 있다.
• 클라이언트 업데이트의 분산을 줄이는 셔플드 SGD를 사용할 경우, 수렴 속도 향상 효과가 특히 두드러진다.
• 이론적 프레임워크는 주기적 클라이언트 가용성이 수렴을 본질적으로 악화시키지 않으며, 데이터 다양성과 일치할 경우 오히려 향상시킬 수 있음을 보여준다.
• 분석 결과, 수렴 속도는 클라이언트 참여 빈도, 데이터 이질성, 최적화기 선택 간 상호작용에 따라 달라진다.
• GD 및 SGD의 경우, 사이클 길이가 클라이언트 간 데이터 분포 패턴과 일치할 경우 순환 참여가 균일 샘플링을 능가할 수 있다.
• 결과적으로 클라이언트 샘플링 프로토콜은 i.i.i.d. 또는 균일 샘플링을 가정하기보다는 순환 패턴을 활용하도록 설계되어야 한다.