[논문 리뷰] FedCM: Federated Learning with Client-level Momentum

Jing Xu, Sen Wang외 2명|arXiv (Cornell University)|2021. 06. 21.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 23

한 줄 요약

FedCM은 이전 라운드에서의 글로벌 기울기 정보를 집계하여 클라이언트 수준의 동력을 도입함으로써 훈련을 안정화하고 클라이언트 드리프트를 감소시키는 새로운 피어드 학습 알고리즘입니다. 부분 참여와 클라이언트 이질성 하에서 수렴성과 강건성을 향상시켜, 다양한 참가 비율과 데이터 비i.i.d. 수준에서 CIFAR-10 및 CIFAR-100 벤치마크에서 FedAvg 및 기타 기준보다 정확도와 안정성 면에서 뛰어난 성능을 보입니다.

ABSTRACT

Federated Learning is a distributed machine learning approach which enables model training without data sharing. In this paper, we propose a new federated learning algorithm, Federated Averaging with Client-level Momentum (FedCM), to tackle problems of partial participation and client heterogeneity in real-world federated learning applications. FedCM aggregates global gradient information in previous communication rounds and modifies client gradient descent with a momentum-like term, which can effectively correct the bias and improve the stability of local SGD. We provide theoretical analysis to highlight the benefits of FedCM. We also perform extensive empirical studies and demonstrate that FedCM achieves superior performance in various tasks and is robust to different levels of client numbers, participation rate and client heterogeneity.

연구 동기 및 목표

• 매 라운드에 일부 클라이언트만 참여하는 크로스디바이스 피어드 학습 환경에서 클라이언트 이질성과 부분 참여 문제를 다룹니다.
• 비i.i.d. 데이터 분포와 피어드 SGD에서의 불안정한 국소 업데이트로 인한 클라이언트 드리프트를 줄입니다.
• 클라이언트 간 통신 라운드 사이에 국소 상태를 저장하거나 유지할 필요 없이도 수렴성과 모델 성능을 향상시킵니다.
• 글로벌 기울기 이력을 활용하여 국소 클라이언트 업데이트를 이끄는 동력 기반 방법을 개발하여 강건성과 안정성을 향상시킵니다.
• 클라이언트 측 저장소와 통신 오버헤드를 최소화하여 실제 피어드 학습 시스템과의 호환성을 확보합니다.

제안 방법

• 이전 커뮤니케이션 라운드에서 수집한 글로벌 기울기 정보를 누적하는 클라이언트 수준의 동력 항을 도입합니다.
• 서버에서 유지하는 동력 벡터(역사적 글로벌 기울기 반영)와 국소 기울기를 조합하여 국소 SGD 업데이트를 수정합니다.
• 서버가 라운드 간 글로벌 기울기의 누적 평균을 유지하는 동력 업데이트 규칙을 사용하며, 이를 통해 클라이언트 업데이트를 보정합니다.
• 기본 FedAvg 프레임워크에 동력 메커니즘을 직접 통합하여 표준 클라이언트 업데이트를 동력 보정된 국소 강하 단계로 대체합니다.
• 매 라운드에 글로벌 모델 기울기 정보를 사용하여 동력 항을 업데이트함으로써 클라이언트가 국소 업데이트를 글로벌 최적화 방향에 맞출 수 있도록 합니다.
• 클라이언트가 라운드 간 상태를 저장하거나 유지할 필요 없도록 알고리즘을 설계하여 메모리 비용을 줄이고 확장성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 이전 글로벌 기울기 이력을 기반으로 한 동력 메커니즘이 부분 클라이언트 참여 조건에서 피어드 학습의 수렴성과 안정성 향상에 기여할 수 있는가?
• RQ2 데이터 이질성으로 인한 클라이언트 드리프트 완화에 있어 클라이언트 수준의 동력은 서버 수준 또는 클라이언트 전용 동력보다 얼마나 우수한가?
• RQ3 참가 비율이 크게 낮아질 경우, 예를 들어 매 라운드 2% 또는 10%의 클라이언트만 참여할 경우 FedCM이 높은 성능을 유지하는가?
• RQ4 FedAdam과 같은 적응형 방법에 비해 FedCM은 훈련 곡선의 진동과 불안정성을 얼마나 줄이는가?
• RQ5 초기화 조정(예: 동력 계수)이 비i.i.i.d. 및 저참가 설정에서 수렴성과 최종 정확도에 미치는 영향은 어떠한가?

주요 결과

• FedCM은 다양한 비i.i.d. 및 저참가 설정 하에서 CIFAR-10 및 CIFAR-100 데이터셋에서 FedAvg, FedAdam, FedDyn보다 뛰어난 테스트 정확도를 달성합니다.
• 500개의 디바이스, 2% 참가 비율 설정에서 FedCM은 기준 모델들에 비해 유의미하게 더 큰 성능 격차를 보이며 저참가 조건에서의 강건성을 입증합니다.
• FedAdam보다 수렴 곡선이 더 안정적이며, 특히 높은 데이터 이질성(디리클레 α=0.6) 조건에서 진동이 감소합니다.
• FedCM은 클라이언트가 라운드 간 국소 상태를 저장하거나 업데이트할 필요 없이도 높은 성능을 유지합니다. 이는 제어 변수를 사용하는 FedCM 또는 FedDyn 등의 방법과는 다릅니다.
• 알고리즘은 강凸, 일반 축소, 비凸 함수에 대해 알려진 최상의 이론적 수렴 경계에 도달하는 수렴 속도를 확보합니다.
• 초기화 조정 결과, FedCM에서 α=0.05 또는 0.1을 사용할 경우 다양한 디바이스 수와 참가 수준에서 일관된 성능 향상이 나타납니다.