[논문 리뷰] Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection

Zhenheng Tang, Shaohuai Shi외 1명|ArXiv.org|2020. 02. 22.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 통신 효율성을 높이기 위해 모델 희소화와 적응형 피어 선택을 조합한 분산학습 알고리즘인 SAPS-PSGD를 제안한다. 각 워커가 고압축 모델을 교환하는 동안 단일의 동적 선택된 피어와만 통신함으로써, 이 방법은 기존 방법에 비해 통신량을 최대 99.5% 감소시키고 수렴 시간을 크게 단축시키며 이론적 수렴 보장을 제공한다.

ABSTRACT

Distributed learning techniques such as federated learning have enabled multiple workers to train machine learning models together to reduce the overall training time. However, current distributed training algorithms (centralized or decentralized) suffer from the communication bottleneck on multiple low-bandwidth workers (also on the server under the centralized architecture). Although decentralized algorithms generally have lower communication complexity than the centralized counterpart, they still suffer from the communication bottleneck for workers with low network bandwidth. To deal with the communication problem while being able to preserve the convergence performance, we introduce a novel decentralized training algorithm with the following key features: 1) It does not require a parameter server to maintain the model during training, which avoids the communication pressure on any single peer. 2) Each worker only needs to communicate with a single peer at each communication round with a highly compressed model, which can significantly reduce the communication traffic on the worker. We theoretically prove that our sparsification algorithm still preserves convergence properties. 3) Each worker dynamically selects its peer at different communication rounds to better utilize the bandwidth resources. We conduct experiments with convolutional neural networks on 32 workers to verify the effectiveness of our proposed algorithm compared to seven existing methods. Experimental results show that our algorithm significantly reduces the communication traffic and generally select relatively high bandwidth peers.

연구 동기 및 목표

• 저대역폭 워커가 있는 분산학습 및 피델러레이티드 학습에서의 통신 병목 현상을 해결하기 위해.
• 중앙 집중식 파rameter 서버가 필요 없도록 하여 단일 통신 병목 현상을 제거하기 위해.
• 모델 희소화와 단일 피어 통신을 통해 각 워커의 통신 오버헤드를 줄이기 위해.
• 각 통신 라운드에서 고대역폭 피어를 동적으로 선택하여 대역폭 활용도를 향상시키기 위해.
• 통신량을 극적으로 줄이면서도 수렴 성능를 유지하기 위해.

제안 방법

• 알고리즘은 상위-k 희소화를 사용하여 모델 업데이트를 압축하며, 절댓값이 가장 큰 매개변수만 유지하고 기울기의 99~99.9%를 0으로 설정한다.
• 각 워커는 라운드당 하나의 피어와만 통신하므로, 워커당 라운드당 통신 복잡도가 O(1)로 감소한다.
• 적응형 피어 선택은 각 라운드에서 가용한 최고 대역폭을 가진 피어를 동적으로 선택하여 통신 효율성을 최적화한다.
• 중앙 집중식 파rameter 서버 없이 완전히 분산된 방식으로 운영되어 장애 내성과 확장성을 보장한다.
• 이론적 분석을 통해 표준 가정 하에 수렴을 증명하였으며, 수렴 속도는 표준 PSGD와 유사하다.
• 희소화 과정 중 모델 정확도를 유지하기 위해 오차 보상 기법을 적용한다.

실험 결과

연구 질문

• RQ1 분산학습 알고리즘이 수렴 속도를 희생시키지 않고도 상당한 통신 감소를 달성할 수 있는가?
• RQ2 비균일한 대역폭 환경에서 적응형 피어 선택은 통신 효율성에 어떤 영향을 미치는가?
• RQ3 희소화와 단일 피어 통신을 조합한 방법이 분산 학습에서 수렴 보장을 유지할 수 있는가?
• RQ4 제안된 방법은 중심집중형 및 분산형 기준선 대비 통신 트래픽과 시간 측면에서 어떻게 비교되는가?
• RQ5 대역폭 이질성은 적응형 피어 선택을 적용한 분산학습의 성능에 어떤 영향을 미치는가?

주요 결과

• SAPS-PSGD는 PSGD 및 FedAvg와 같은 기준선 방법에 비해 통신 트래픽을 최대 99.5% 감소시켰으며, MNIST-CNN에서는 단지 10MB의 트래픽을 기록했다.
• CIFAR10-CNN에서 SAPS-PSGD는 통신 시간을 75초로 구현하여 S-FedAvg(680초)와 DCD-PSGD(144,000초)를 압도적으로 앞섰다.
• 알고리즘은 일관되게 고대역폭 피어를 선택하여 이질적인 네트워크 환경에서 대역폭 활용도를 향상시키고 통신 시간을 단축시켰다.
• SAPS-PSGD는 표준 PSGD와 수렴 성능가 비슷하며, 수렴 속도에 대한 이론적 보장을 확보했다.
• 32개의 워커를 사용한 실험에서 SAPS-PSGD는 ResNet-20에서 목표 정확도에 50초 만에 도달했으며, D-PSGD(118,000초)보다 훨씬 빠르게 성능을 보였다.
• ResNet-20에서 DCD-PSGD 대비 통신 시간을 최대 99.6%까지 감소시켜 저대역폭 환경에서도 강력한 확장성을 입증했다.