[논문 리뷰] Communication-Efficient Adaptive Federated Learning

Yujia Wang, Lu Lin외 1명|arXiv (Cornell University)|2022. 05. 05.

Privacy-Preserving Technologies in Data인용 수 25

한 줄 요약

FedCAMS를 소개하는 것으로, 압축 없이도 수렴 보장을 가진 커뮤니케이션 효율적인 적응형 연합 학습 방법이며, FedAMS를 모멘텀 기반 변형으로 제시합니다.

ABSTRACT

Federated learning is a machine learning training paradigm that enables clients to jointly train models without sharing their own localized data. However, the implementation of federated learning in practice still faces numerous challenges, such as the large communication overhead due to the repetitive server-client synchronization and the lack of adaptivity by SGD-based model updates. Despite that various methods have been proposed for reducing the communication cost by gradient compression or quantization, and the federated versions of adaptive optimizers such as FedAdam are proposed to add more adaptivity, the current federated learning framework still cannot solve the aforementioned challenges all at once. In this paper, we propose a novel communication-efficient adaptive federated learning method (FedCAMS) with theoretical convergence guarantees. We show that in the nonconvex stochastic optimization setting, our proposed FedCAMS achieves the same convergence rate of $O(\frac{1}{\sqrt{TKm}})$ as its non-compressed counterparts. Extensive experiments on various benchmarks verify our theoretical analysis.

연구 동기 및 목표

• 두 개의 핵심 FL 과제인 높은 통신 오버헤드와 확률적 비볼록 최적화에서의 적응력 부족을 동기화하고 해결합니다.
• 연합 학습에서 커뮤니케이션 효율성과 적응성을 모두 달성하는 통합 프레임워크를 개발합니다.
• 무압축 비교대상과 일치하는 수렴 속도를 보이는 이론적 수렴 보장을 제공합니다.
• 표준 벤치마크에서의 실험을 통해 실용적 성능 개선을 입증합니다.

제안 방법

• FedAMS를 최대 안정화를 갖춘 강건한 적응 업데이트를 위한 Federated AMSGrad 변형으로 제안합니다.
• 오류 피드백을 사용하여 편향된 압축기를 허용하면서도 수렴 보장을 유지하는 커뮤니케이션 압축 AMSGrad인 FedCAMS를 도입합니다.
• 두 가지 업데이트 옵션을 제공합니다: 최대 안정화 분산(옵션 1)과 AMSGrad 스타일의 비감소 분산(옵션 2).
• FedCAMS에서 로컬 업데이트에 오류 피드백 압축을 적용하고 부분 참여를 지원하기 위해 누적 압축 오차를 유지합니다.
• 일반적인 압축기(상위 구성, 스케일링-사인) 중 편향-압축기 가정하에서 압축-비일치 조건을 만족하는 것을 허용합니다.
• 적절한 설정 하에서 무압축 방법과 동일한 O(1/sqrt(TKm)) 속도를 보이는 비볼록 수렴 보장을 확립합니다.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 수렴 보장을 손상시키지 않으면서 커뮤니케이션 효율적이고 적응적인 연합 최적화 방법을 설계할 수 있을까?
• RQ2 부분 참여 하에서 오류 피드백 기반 압축 스킴이 적응형 연합 옵티마이저에 안정적으로 확장될 수 있을까?
• RQ3 전체 참여와 부분 참여에서 FedAMS와 FedCAMS가 달성할 수 있는 수렴 속도는 무엇일까?
• RQ4 압축(편향 및 오류 피드백)이 무압축 AMSGrad 기반 방법과 비교하여 상수 및 속도에 어떤 영향을 미치는가?

주요 결과

• FedAMS는 전체 참여 및 부분 참여 하에서 무압축 대응 방법과 동일한 수렴 속도 O(1/sqrt(TKm))를 달성합니다.
• FedCAMS는 오류 피드백과 편향 압축기를 사용하여 커뮤니케이션 비용을 줄이면서 동일한 O(1/sqrt(TKm)) 속도를 달성합니다.
• 실험적으로 FedAMS와 FedCAMS가 실제 모델에서 좋은 적응성을 제공하며 FedCAMS가 정확도 손실 없이 수많은 비트 단위로 커뮤니케이션을 줄임을 보여줍니다.
• 오류 피드백은 적응형 연합 최적화에서 수렴으로의 발산을 일으키지 않도록 커뮤니케이션 압축을 가능하게 하며 적합한 Lyapunov-함수 스타일 분석이 뒷받침됩니다.
• 부분 참여 결과는 더 큰 n이 수렴을 가속시키고 글로벌 분산이 비독립동등 분포(i.i.d.가 아닌 설정)에서 더 큰 영향을 미친다는 것을 시사합니다.