[논문 리뷰] Linear Convergence in Federated Learning: Tackling Client Heterogeneity and Sparse Gradients

Aritra Mitra, Rayana H. Jaafar외 2명|arXiv (Cornell University)|2021. 02. 14.

Privacy-Preserving Technologies in Data참고 문헌 59인용 수 39

한 줄 요약

이 논문은 목표 및 시스템 이질성 하에서도 그래디언트 희소화가 있어도 글로벌 최솟값으로의 선형 수렴을 달성하는 연합 학습 프레임워크인 FedLin을 제시합니다.

ABSTRACT

We consider a standard federated learning (FL) architecture where a group of clients periodically coordinate with a central server to train a statistical model. We develop a general algorithmic framework called FedLin to tackle some of the key challenges intrinsic to FL, namely objective heterogeneity, systems heterogeneity, and infrequent and imprecise communication. Our framework is motivated by the observation that under these challenges, various existing FL algorithms suffer from a fundamental speed-accuracy conflict: they either guarantee linear convergence but to an incorrect point, or convergence to the global minimum but at a sub-linear rate, i.e., fast convergence comes at the expense of accuracy. In contrast, when the clients' local loss functions are smooth and strongly convex, we show that FedLin guarantees linear convergence to the global minimum, despite arbitrary objective and systems heterogeneity. We then establish matching upper and lower bounds on the convergence rate of FedLin that highlight the effects of intermittent communication. Finally, we show that FedLin preserves linear convergence rates under aggressive gradient sparsification, and quantify the effect of the compression level on the convergence rate. Our work is the first to provide tight linear convergence rate guarantees, and constitutes the first comprehensive analysis of gradient sparsification in FL.

연구 동기 및 목표

• 연합 학습에서 목표 이질성과 시스템 이질성 및 통신 제약을 해결한다.
• 로컬 손실이 매끄럽고 강하게 볼록한 경우 글로벌 최적점으로의 선형 수렴을 달성하는 프레임워크를 개발한다.
• 간격 있는 통신 및 그래디언트 희소화의 영향에 대해 엄밀한 수렴 속도 경계를 제시하고 분석한다.

제안 방법

• 전역 그래디언트에서 메모리를 사용하는 그래디언트 보정 항을 갖춘 FedLin을 제안한다.
• 클라이언트별 학습률을 사용하여 클라이언트 간의 로컬 단계 차이를 보정한다.
• 그래디언트 희소화를 처리하기 위해 클라이언트와 서버 모두에서 오차 피드백 메커니즘을 도입한다.
• TOP-k 연산자를 통해 적극적인 그래디언트 희소화를 허용하고 수렴에 미치는 영향을 분석한다.
• FedLin이 결정론적 설정에서 중앙 집중식 수렴 속도와 일치하고 확률적 오라클 모델로 확장되는지 보여준다.
• 간격 있는 통신의 비용과 로컬 단계의 한계를 보여주는 하한을 도출한다.

실험 결과

연구 질문

• RQ1 FedLin이 목표 이질성과 시스템 이질성에도 불구하고 글로벌 최솟값으로의 선형 수렴을 달성할 수 있는가?
• RQ2 라운드 간의 지역 단계(Local steps) 간격 통신이 수렴 속도에 어떤 영향을 미치는가?
• RQ3 서버에서의 또는 각 클라이언트에서의 그래디언트 희소화가 수렴에 어떤 영향을 미치는가?
• RQ4 클라이언트별 학습률만으로 이질적 로컬 업데이트로 인한 드리프트를 상쇄할 수 있는가?
• RQ5 결정론적 및 확률적 설정에서 FedLin의 엄밀한 속도 특징이 있는가?

주요 결과

• FedLin은 목표 및 시스템 이질성에 상관없이 매끄럽고 강하게 볼록한 손실에 대해 글로벌 최솟값으로의 선형 수렴을 보장한다.
• 수렴 속도에 대한 상한 및 하한이 일치하며 간격 있는 통신의 비용이 강조된다.
• FedLin은 적극적인 그래디언트 희소화에서도 선형 수렴을 유지하며 압축 수준이 속도에 미치는 영향을 정량화한다.
• 그래디언트가 서버에서 희소화될 때 오차 피드백 없이도 실제 최소값으로의 선형 수렴이 달성될 수 있으며, 오차 피드백은 수렴 속도를 개선한다.
• 그래디언트가 각 클라이언트에서 희소화될 때도 오차 피드백이 있더라도 실제 최소값의 이웃으로의 선형 수렴이 보장된다.
• 해당 분석은 연합 학습에서 그래디언트 희소화에 대한 최초의 엄밀한 선형 수렴 속도 보장과 포괄적인 처리를 보여준다.