[논문 리뷰] On the Convergence of FedAvg on Non-IID Data

Xiang Li, Kaixuan Huang외 3명|arXiv (Cornell University)|2019. 07. 04.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 1,011

한 줄 요약

이 논문은 non-IID 데이터가 있는 강볼록 및 매끄러운 문제에 대해 FedAvg의 O(1/T) 수렴 속도를 증명하고, 부분 기기 참여를 분석하며, E>1일 때 수렴을 보장하기 위해 학습률 감소가 필요함을 보여준다.

ABSTRACT

Federated learning enables a large amount of edge computing devices to jointly learn a model without data sharing. As a leading algorithm in this setting, Federated Averaging ( exttt{FedAvg}) runs Stochastic Gradient Descent (SGD) in parallel on a small subset of the total devices and averages the sequences only once in a while. Despite its simplicity, it lacks theoretical guarantees under realistic settings. In this paper, we analyze the convergence of exttt{FedAvg} on non-iid data and establish a convergence rate of $\mathcal{O}(\frac{1}{T})$ for strongly convex and smooth problems, where $T$ is the number of SGDs. Importantly, our bound demonstrates a trade-off between communication-efficiency and convergence rate. As user devices may be disconnected from the server, we relax the assumption of full device participation to partial device participation and study different averaging schemes; low device participation rate can be achieved without severely slowing down the learning. Our results indicate that heterogeneity of data slows down the convergence, which matches empirical observations. Furthermore, we provide a necessary condition for exttt{FedAvg} on non-iid data: the learning rate $η$ must decay, even if full-gradient is used; otherwise, the solution will be $Ω(η)$ away from the optimal.

연구 동기 및 목표

• 비-IID 데이터와 제한된 기기 참여로 연합학습의 동기를 제시한다.
• iid 및 데이터 활성화 가정 없이 FedAvg의 수렴 보장을 수립한다.
• 로컬 업데이트(E)와 샘플링 방식이 수렴 및 통신에 미치는 영향을 규명한다.
• 다수의 로컬 업데이트를 수반하는 FedAvg에 대해 학습률 감소의 필요성을 입증한다.

제안 방법

• 전역 목적 F(w)=sum p_k F_k(w)인 분산 최적화로 FedAvg를 모델링한다.
• 전체 및 부분 기기 참여를 분석하고, 샘플링 방식 S_t와 평균화 규칙을 도입한다.
• L-매끄럽고 μ-강볼록한 F_k 가정하에서 O(1/T) 수렴을 보인다.
• 데이터 이질성 Γ 및 E, K의 함수로 통신 라운드에 대한 명시적 상한을 도출한다.
• 수렴 보장을 위해 E>1일 때 전체 기울기라도 학습률은 감소해야 한다는 것을 보인다.
• 수렴을 달성하기 위해 샘플링/평균화 방식들을 제안하고 비교한다.

실험 결과

연구 질문

• RQ1 장치 간 데이터가 비-IID이고 모든 라운드에 모든 기기가 참여하지 않는 경우에도 FedAvg가 수렴 보장을 달성할 수 있는가?
• RQ2 비-IID 데이터에서 강볼록성 및 매끄러움하에서 FedAvg의 수렴 속도는 어떤가?
• RQ3 로컬 업데이트 단계(E)와 참여 규모(K)가 수렴 속도와 통신 비용 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 비-IID 설정에서 FedAvg 수렴에 학습률 감소가 필요한가, 그렇다면 왜?
• RQ5 어떤 샘플링 및 평균화 방식이 수렴을 보장하는가, 그리고 데이터 이질성 및 균형이 그것들에 어떻게 영향을 미치는가?

주요 결과

• FedAvg는 비-IID 데이터와 함께 강볼록하고 매끄러운 문제에 대해 O(1/T) 수렴 속도를 달성한다.
• 부분 기기 참여는 분산으로 인한 분산이 커져 수렴 속도를 느리게 하지만, 적절한 조건에서 여전히 수렴한다.
• E의 최적 선택은 통신과 수렴의 균형을 잡는다; 너무 작지도 너무 크지도 않은 것이 보편적으로 최적이다.
• 데이터 이질성(non-IID)은 수렴 속도를 늦추며, 이는 경험적 관찰과 일치한다.
• 전체 기울기가 사용될 때에도 E>1인 경우 최적점으로 수렴하기 위해 학습률 감소가 필요하다.
• 특정 샘플링/평균화 방식(예: 교체가 있는 비균등 샘플링)은 non-IID 설정에서 O(1/T) 속도를 달성할 수 있다.