[논문 리뷰] FedExP: Speeding Up Federated Averaging via Extrapolation

Divyansh Jhunjhunwala, Shiqiang Wang외 1명|arXiv (Cornell University)|2023. 01. 23.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

FedExP는 로컬 의사 그라디언트를 기반으로 한 외삽에서 영감을 받은 메커니즘을 사용하여 FedAvg의 서버 스텝 크기를 적응적으로 조정하는 FedExP는, 추가적인 클라이언트/서버 통신 또는 저장소 없이 FL 과제 전반에서 더 빠른 수렴을 달성한다.

ABSTRACT

Federated Averaging (FedAvg) remains the most popular algorithm for Federated Learning (FL) optimization due to its simple implementation, stateless nature, and privacy guarantees combined with secure aggregation. Recent work has sought to generalize the vanilla averaging in FedAvg to a generalized gradient descent step by treating client updates as pseudo-gradients and using a server step size. While the use of a server step size has been shown to provide performance improvement theoretically, the practical benefit of the server step size has not been seen in most existing works. In this work, we present FedExP, a method to adaptively determine the server step size in FL based on dynamically varying pseudo-gradients throughout the FL process. We begin by considering the overparameterized convex regime, where we reveal an interesting similarity between FedAvg and the Projection Onto Convex Sets (POCS) algorithm. We then show how FedExP can be motivated as a novel extension to the extrapolation mechanism that is used to speed up POCS. Our theoretical analysis later also discusses the implications of FedExP in underparameterized and non-convex settings. Experimental results show that FedExP consistently converges faster than FedAvg and competing baselines on a range of realistic FL datasets.

연구 동기 및 목표

• 데이터 이질성과 부분적 클라이언트 참여로 인해 FedAvg가 느려지는 현상을 설명하고 그 원인을 제시한다.
• 외삽된 POCS 방법에서 영감을 얻은 FL의 서버 스텝 크기 적응 메커니즘을 도입한다.
• 라운드-바이-라운드 클라이언트 업데이트를 사용하여 서버 스텝 사이즈를 적응적으로 설정하도록 FedExP를 개발한다.
• 과잉 매개변수화(overparameterized), 미매개변수화(underparameterized), 볼록 및 비볼록 설정에서의 이론적 수렴 통찰을 제공한다.
• 계산/통신 오버헤드를 바꾸지 않으면서 현실적인 FL 데이터셋에서 FedAvg 및 기존 기준보다 경험적 속도 향상을 보여준다.

제안 방법

• 과잉 매개변수화 구역에서 FedAvg와 Projection Onto Convex Sets (POCS) 간의 연결을 도출한다.
• FedAvg의 서버 스텝 사이즈를 외삽된 POCS(EPPM)의 외삽 매개변수와 연결한다.
• 적응적 서버 스텝 사이즈 공식을 도출한다: (ηg(t))FedExP = max{1, [sum_i ||Δi(t)||^2] / [2M (||Δ̄(t)||^2 + ε)]}.
• 근사 투사 조건하에서, 전역 최적해까지의 거리를 최소화하도록 ηg(t)를 선택함으로써 FedExP가 FedAvg로 축소되거나 그보다 개선되도록 보인다.
• 로컬 SGD 단계, 로컬 델타, 그리고 FedExP 서버 업데이트를 갖춘 알고리즘 1(FedExP)을 제시한다.
• 부분 클라이언트 참여 및 보안 집계와의 호환성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 라운드별 클라이언트 업데이트를 기반으로 한 적응적 서버 스텝 사이징이 연합학습(Federated Learning)의 수렴을 가속시킬 수 있는가?
• RQ2 FedExP가 POCS의 외삽 방법과 어떤 관련이 있으며, 이 직관이 실용적인 FL 업데이트를 이끄는가?
• RQ3 볼록, 미매개변수화, 비볼록 연합 설정에서 FedExP의 수렴 특성은 어떠한가?
• RQ4 FedExP가 이질성, 확률적 노이즈, 부분 참여에 대해 추가 통신이나 저장 없이도 견고한가?

주요 결과

• FedExP는 다양한 FL 데이터세트에서 일관되게 FedAvg 및 경쟁 기준보다 빠르게 수렴한다.
• 현실적인 작업에서 FedAvg 대비 약 1.4–2×의 속도 향상을 달성한다.
• 이 방법은 클라이언트나 서버에서 거의 추가적인 통신, 계산 또는 저장이 필요하지 않다.
• FedExP는 부분 클라이언트 참여 및 보안 집계와 호환된다.
• 과잉 매개변수화된 볼록 구간에서, 근사 투사 조건이 성립하면 FedExP가 FedAvg를 크게 능가할 수 있다.
• 표준 FL 가정 하에 볼록 및 비볼록 설정에서 이 이론적 수렴 보장을 제공한다.