[논문 리뷰] AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation

Qiyuan Wang, Qianqian Yang외 3명|arXiv (Cornell University)|2022. 05. 27.

Privacy-Preserving Technologies in Data인용 수 14

한 줄 요약

이 논문은 유럽거리 기반의 적응형 가중치 부여를 통해 정체된 클라이언트 업데이트를 동적으로 조정하는 이종성 및 비독립 동일 분포(non-IID) 환경에서도 수렴성과 정확도를 향상시키는 비동기 분산학습 프레임워크인 AsyncFedED를 제안한다. 정체도와 모델 이탈을 기반으로 동적으로 글로벌 학습률과 로컬 에포크 수를 조정함으로써, 이는 이론적 수렴 보장을 제공하며 기존 방법들을 능가한다.

ABSTRACT

In an asynchronous federated learning framework, the server updates the global model once it receives an update from a client instead of waiting for all the updates to arrive as in the synchronous setting. This allows heterogeneous devices with varied computing power to train the local models without pausing, thereby speeding up the training process. However, it introduces the stale model problem, where the newly arrived update was calculated based on a set of stale weights that are older than the current global model, which may hurt the convergence of the model. In this paper, we present an asynchronous federated learning framework with a proposed adaptive weight aggregation algorithm, referred to as AsyncFedED. To the best of our knowledge this aggregation method is the first to take the staleness of the arrived gradients, measured by the Euclidean distance between the stale model and the current global model, and the number of local epochs that have been performed, into account. Assuming general non-convex loss functions, we prove the convergence of the proposed method theoretically. Numerical results validate the effectiveness of the proposed AsyncFedED in terms of the convergence rate and model accuracy compared to the existing methods for three considered tasks.

연구 동기 및 목표

• 지연된 클라이언트 업데이트로 인해 수렴성이 악화되는 비동기 분산학습에서의 정체 모델 문제를 해결한다.
• 기존의 반복 랙 또는 학습 시간 기반의 정체도 측정 방법은 유용한 업데이트를 버릴 수 있으므로 이를 초월한다.
• 유클리드 거리로 측정한 모델 이탈과 로컬 학습 진행 상황(에포크 수)을 모두 고려한 적응형 집계 기법을 개발한다.
• 일반적인 비볼록 손실 함수에 대해 수렴 보장을 확보하면서도, 동적인 환경에서 확장성과 유연성을 유지한다.
• 학습 속도와 모델 정확도를 최적화하기 위해 로컬 에포크 수와 글로벌 학습률을 동적으로 조정할 수 있도록 한다.

제안 방법

• 클라이언트로부터 수신한 정체된 모델과 현재 글로벌 모델 간의 유클리드 거리를 사용한 새로운 정체도 평가 지표를 제안한다.
• 정체도를 기반으로 각 클라이언트 업데이트에 대한 적응형 글로벌 학습률 $\eta_{g,i}$ 를 설계하며, 이는 $\gamma(i,\tau) = \|x_t - x_{t-\tau}\|_2$ 로 정의된다.
• 동적 로컬 에포크 조정 규칙을 도입한다: $K_{i,n+1} = K_{i,n} + \left\lfloor (\bar{\gamma} - \gamma(i,\tau)) \cdot \kappa \right\rfloor$ 로, 덜 정체된 업데이트에 대해 학습 깊이를 증가시킨다.
• 학습률과 에포크 조정을 제어하기 위해 $\lambda$, $\varepsilon$, $\bar{\gamma}$, $\kappa$ 를 사용한 초매개변수 튜닝 전략을 도입한다.
• 클라이언트가 모멘텀 옵티마이저를 사용해 로컬로 학습하고 서버에 의사 기울기(pseudo-gradients)를 전송하는 서버-클라이언트 아키텍처에서 알고리즘을 구현한다.
• 유계 기울기와 리프시츠 연속성 조건을 가정할 때, 일반적인 비볼록 손실 함수에 대해 수렴성을 증명함으로써 이론적 수렴을 확보한다.

실험 결과

연구 질문

• RQ1 정체된 모델과 현재 글로벌 모델 간 유클리드 거리 기반의 정체도 측정 지표가 비동기 분산학습에서 모델 수렴을 향상시키는가?
• RQ2 모델 이탈과 로컬 학습 진행 상황을 기반으로 한 적응형 학습률 스케줄링이 수렴 속도와 최종 정확도를 향상시키는가?
• RQ3 로컬 에포크 수를 동적으로 조정함으로써 느린 클라이언트의 유용한 업데이트를 기각하지 않으면서도 학습 안정성을 유지할 수 있는가?
• RQ4 비독립 동일 분포 및 이종 데이터 환경에서 기존의 비동기 분산학습 기반 방법들과 비교해 본다면, 제안된 방법은 어떤 성능을 보이는가?
• RQ5 유계 기울기를 가지며 리프시츠 연속성을 만족하는 일반적인 비볼록 손실 함수 하에서 AsyncFedED의 이론적 수렴 보장이 유효한가?

주요 결과

• AsyncFedED는 Synthetic-1-1, FEMNIST, Shakespeare 텍스트 데이터 세 가지 벤치마크 작업에서 FedAsync, FedAvg, FedAsync+Hinge 보다 더 빠른 수렴 속도와 높은 최종 모델 정확도를 달성한다.
• 100회의 통신 라운드 후 FEMNIST에서 AsyncFedED는 테스트 정확도 92.1%를 기록했으며, 이는 FedAsync(89.7%)와 FedAvg(88.3%)를 모두 초월한다.
• Shakespeare 텍스트 생성 작업에서 AsyncFedED는 테스트 손실 1.82를 기록했으며, 이는 FedAsync(2.01)와 FedAvg(2.15)보다 유의미하게 낮아 더 우수한 일반화 능력을 보였다.
• 유클리드 거리로 측정한 정체도에 기반해 매우 정체된 모델에 낮은 가중치를 할당함으로써, 알고리즘이 정체된 업데이트의 부정적 영향을 효과적으로 줄였다. 그러나 이러한 업데이트를 기각하지는 않았다.
• 초매개변수 튜닝 결과, 대부분의 작업에서 $\bar{\gamma} = 3$ 및 $\kappa = 1$ 가 최적으로 나타났으며, Synthetic-1-1 에서는 $\lambda/\varepsilon = 1$, Shakespeare 에서는 $\lambda/\varepsilon = 0.5$ 가 최적의 조합이었다.
• 이론적 분석을 통해, 유계 기울기와 리프시츠 연속성 조건을 가정할 때 일반적인 비볼록 설정 하에서 정류점(stationary point)으로의 수렴이 확인되었다.