[논문 리뷰] Communication-Efficient Federated Learning with Accelerated Client Gradient

Geeho Kim, Jinkyu Kim외 1명|arXiv (Cornell University)|2022. 01. 10.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 추가적인 통신 또는 메모리 비용 없이 클라이언트 업데이트에 글로벌 모멘텀을 통합함으로써 수렴 속도를 높이는 통신 효율적인 플랫폼 학습 프레임워크인 FedAGM을 제안한다. 글로벌 모델에 모멘텀을 추가하여 브로드캐스트하고 로컬 목적 함수를 정규화함으로써 FedAGM은 클라이언트 드리프트를 줄이고 안정성을 향상시킨다. 특히 낮은 클라이언트 참여도와 높은 데이터 이질성 조건에서 기존 최고 성능(SOTA) 방법들보다 정확도와 통신 효율성 면에서 뛰어나다.

ABSTRACT

Federated learning often suffers from slow and unstable convergence due to the heterogeneous characteristics of participating client datasets. Such a tendency is aggravated when the client participation ratio is low since the information collected from the clients has large variations. To address this challenge, we propose a simple but effective federated learning framework, which improves the consistency across clients and facilitates the convergence of the server model. This is achieved by making the server broadcast a global model with a lookahead gradient. This strategy enables the proposed approach to convey the projected global update information to participants effectively without additional client memory and extra communication costs. We also regularize local updates by aligning each client with the overshot global model to reduce bias and improve the stability of our algorithm. We provide the theoretical convergence rate of our algorithm and demonstrate remarkable performance gains in terms of accuracy and communication efficiency compared to the state-of-the-art methods, especially with low client participation rates. The source code is available at our project page.

연구 동기 및 목표

• 클라이언트 데이터의 이질성과 낮은 참여율로 인한 불안정하고 느린 수렴 문제를 해결하기 위해.
• 추가 통신 또는 메모리 오버헤드 없이 클라이언트 드리프트와 로컬 및 글로벌 업데이트 간의 기울기 불일치를 줄이기 위해.
• 부분적 클라이언트 참여가 이루어지는 실제 플랫폼 학습 환경에서 수렴 안정성과 통신 효율성을 향상시키기 위해.
• 추가 비용 없이 글로벌 기울기 모멘텀을 클라이언트 업데이트에 자연스럽게 통합하는 방법을 개발하기 위해.
• 로컬 목적 함수의 정규화를 통해 데이터 비-iid 분포와 낮은 클라이언트 참여도에 대한 강건성을 향상시키기 위해.

제안 방법

• FedAGM은 이전 글로벌 기울기에서 유도된 모멘텀을 포함한 개선된 글로벌 모델을 브로드캐스트하여 클라이언트가 로컬 업데이트에 이를 활용할 수 있도록 한다.
• 모멘텀은 서버에서 글로벌 기울기를 사용해 계산되며, 추가 통신 없이 모델 업데이트에 통합된다.
• 로컬 기울기가 글로벌 기울기 방향과 일치하도록 하기 위해 로컬 목적 함수에 정규화 항을 추가한다.
• 정규화 항은 글로벌 기울기와 클라이언트의 로컬 모델에 대한 함수로 정의되어 있으며, 로컬 업데이트의 편향을 감소시킨다.
• 클라이언트 측에 추가 저장소가 필요로 하지 않으며, 추가 통신 라운드나 대역폭 사용을 피한다.
• 감쇠 계수 λ를 통해 알고리즘이 모멘텀 기여도를 동적으로 조정하여 가속화와 안정성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 플랫폼 학습에서 추가 통신 비용 없이 글로벌 모멘텀을 클라이언트에 효율적으로 전달하는 방법은 무엇인가?
• RQ2 높은 클라이언트 데이터 이질성 조건에서 글로벌 기울기 모멘텀을 통합할 경우 수렴 안정성은 어느 정도 향상되는가?
• RQ3 로컬 목적 함수의 정규화가 기울기 일치성과 모델 성능에 어떤 영향을 미치는가?
• RQ4 클라이언트 드리프트가 가장 심각한 낮은 클라이언트 참여율 조건에서도 FedAGM은 높은 성능을 유지할 수 있는가?
• RQ5 다양한 데이터 분포에서 FedAGM은 통신 효율성과 최종 정확도 측면에서 SOTA 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• CIFAR-10에서 2% 참여율과 Dirichlet(0.3) 데이터 분할 조건에서 FedAGM은 각각 59.64%와 63.50%의 테스트 정확도를 달성하여 FedAvg와 FedProx를 능가한다.
• 2% 클라이언트 참여율 조건에서 CIFAR-10(.Dirichlet 0.3)에서 FedAGM은 321라운드 내에 수렴하며, FedAvg(1000+라운드)보다 훨씬 적은 수렴 라운드를 기록한다.
• CIFAR-100에서 2% 참여율 조건에서 FedAGM은 678라운드 내에 48.40%의 정확도를 달성했으며, 베이스라인 β=0 설정(736라운드, 46.80%)을 능가한다.
• 낮은 참여율 조건에서도 성능 저하가 최소한이 되며, FedProx와 FedAdam은 심각한 성능 저하를 겪는 반면 FedAGM은 뛰어난 안정성을 유지한다.
• 제거 실험 결과, 로컬 목적 함수의 정규화가 모든 참여 수준에서 수렴 속도와 정확도 향상에 기여하는 것으로 확인되었다.
• 민감도 분석 결과, λ=0.95는 과도한 모멘텀으로 인해 성능 저하를 유발하지만, 여전히 대부분의 베이스라인보다 뛰어난 성능을 보였다.