[논문 리뷰] Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning

Haozhao Wang, Zhihao Qu외 4명|arXiv (Cornell University)|2020. 01. 22.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 4

한 줄 요약

이 논문은 통신 효율적인 플러그인 학습 방법인 국소 보상과 함께 모델을 끌어오는 방법(PRLC)을 제안한다. 이 방법은 워커들이 간헐적으로 글로벌 모델을 끌어오며, 동기화 간격을 국소 업데이트로 보상한다. PRLC는 LAG와 같은 최신 기법들보다 최대 50% 적은 끌어오기 연산을 달성하면서도, 비감소 기법들과 비교해 유사한 수렴 속도를 유지한다.

ABSTRACT

Federated Learning is a powerful machine learning paradigm to cooperatively train a global model with highly distributed data. A major bottleneck on the performance of distributed Stochastic Gradient Descent (SGD) algorithm for large-scale Federated Learning is the communication overhead on pushing local gradients and pulling global model. In this paper, to reduce the communication complexity of Federated Learning, a novel approach named Pulling Reduction with Local Compensation (PRLC) is proposed. Specifically, each training node intermittently pulls the global model from the server in SGD iterations, resulting in that it is sometimes unsynchronized with the server. In such a case, it will use its local update to compensate the gap between the local model and the global model. Our rigorous theoretical analysis of PRLC achieves two important findings. First, we prove that the convergence rate of PRLC preserves the same order as the classical synchronous SGD for both strongly-convex and non-convex cases with good scalability due to the linear speedup with respect to the number of training nodes. Second, we show that PRLC admits lower pulling frequency than the existing pulling reduction method without local compensation. We also conduct extensive experiments on various machine learning models to validate our theoretical results. Experimental results show that our approach achieves a significant pulling reduction over the state-of-the-art methods, e.g., PRLC requiring only half of the pulling operations of LAG.

연구 동기 및 목표

• 빈번한 모델 끌어오기와 기울기 전송으로 인한 플러그인 학습의 높은 통신 오버헤드를 해결한다.
• 수렴 속도나 모델 정확도를 희생시키지 않고 끌어오기 연산의 수를 줄인다.
• 제한된 대역폭을 가진 대규모 분산 플러그인 학습 시스템에서의 확장성과 효율성을 향상시킨다.
• 간헐적 동기화 하에서 수렴 보장을 유지할 수 있는 이론적으로 탄탄한 방법을 개발한다.

제안 방법

• 각 SGD 반복에서 워커들이 서버로부터 글로벌 모델을 끌어올지 여부를 무작위로 결정함으로써 간헐적 동기화를 도입한다.
• 끌어오지 않을 경우, 워커들은 자신의 국소 모델 업데이트를 사용해 글로벌 업데이트를 근사하고 모델 간격을 보상한다.
• 국소 업데이트는 모든 워커들의 평균 업데이트를 대체하는 역할을 하여 빈번한 서버 끌어오기 의존도를 낮춘다.
• 이론적 분석을 통해 PRLC의 수렴 속도가 강凸 및 비강凸 설정 모두에서 고전적 동기화 SGD와 동일한 것을 입증한다.
• 끌어오기 빈도를 제어하는 데 사용되는 끌어오기 비율 $ r $ 이 있으며, 실험에서는 통신 비용과 수렴 간의 균형을 맞추기 위해 $ r = 0.4 $ 를 사용한다.
• 비I.I.D. 데이터와 저대역폭 엣지 환경에서도 안정성을 확보하기 위해 설계되었으며, 실제 클러스터 시뮬레이션을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 간헐적 끌어오기와 국소 보상이 플러그인 학습에서 동기화 SGD와 유사한 수렴 속도를 유지할 수 있는가?
• RQ2 보상 없이 끌어오기 수를 줄이는 것과 비교해 국소 보상은 성능을 어떻게 향상시키는가?
• RQ3 수렴과 모델 정확도를 보장하는 데 필요한 최소 끌어오기 빈도(즉, 끌어오기 비율)는 얼마인가?
• RQ4 PRLC는 ASGD 및 LAG와 비교해 수렴 시간과 통신 효율성 측면에서 어떻게 다른가?
• RQ5 PRLC는 훈련 노드 수에 따라 선형적으로 확장되는가? 비I.I.D. 데이터 분포 하에서도 어떻게 성능을 발휘하는가?

주요 결과

• PRLC는 LAG 대비 끌어오기 연산을 50% 감소시켰으며, 로지스틱 회귀 및 ResNet18 모델 모두에서 수렴에 도달하기 위해 필요한 끌어오기 횟수를 반으로 줄였다.
• PRLC의 수렴 속도는 강凸 및 비강凸 목표 함수 모두에서 고전적 동기화 SGD와 같은 수준이다.
• PRLC는 ASGD보다 더 우수한 확장성을 유지하며, 훈련 노드 수가 증가함에 따라 수렴 시간에 대해 선형 속도 향상을 보였다.
• 실험 결과, PRLC는 저대역폭 엣지 환경에서 ASGD보다 약 30% 더 빠르게 수렴했으며, 수렴 시간은 약 ~100,000초 대비 ~140,000초였다.
• 국소 보상은 성능 향상에 크게 기여했다: 보상 없이 실행되는 기준 방법(PR)에 비해 PRLC는 특히 초기 훈련 단계에서 수렴 손실 간격을 줄였다.
• PRLC의 수렴 간격은 학습률 감소에 따라 제곱적으로 감소하며, 이는 이차 수렴 개선에 대한 이론적 예측을 확인한다.