[논문 리뷰] Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices

Max Ryabinin, Eduard Gorbunov외 2명|arXiv (Cornell University)|2021. 03. 04.

Brain Tumor Detection and Classification인용 수 8

한 줄 요약

이 논문은 이질적이고 신뢰성 없는 디바이스를 위한 통신 효율적인 분산 학습 프레임워크인 Moshpit SGD를 제안한다. Moshpit All-Reduce는 동적으로 분산된 그룹을 형성하는 프로토콜로, 전역 평균 기울기로의 지수적 수렴을 가능하게 하여, 게이지 기반 방법 대비 ResNet-50/ImageNet에서 1.3배, ALBERT-large에서 1.5배의 속도 향상을 달성한다. 이는 사전 정지 가능한 클라우드 VM 환경에서 이루어졌다.

ABSTRACT

Training deep neural networks on large datasets can often be accelerated by using multiple compute nodes. This approach, known as distributed training, can utilize hundreds of computers via specialized message-passing protocols such as Ring All-Reduce. However, running these protocols at scale requires reliable high-speed networking that is only available in dedicated clusters. In contrast, many real-world applications, such as federated learning and cloud-based distributed training, operate on unreliable devices with unstable network bandwidth. As a result, these applications are restricted to using parameter servers or gossip-based averaging protocols. In this work, we lift that restriction by proposing Moshpit All-Reduce - an iterative averaging protocol that exponentially converges to the global average. We demonstrate the efficiency of our protocol for distributed optimization with strong theoretical guarantees. The experiments show 1.3x speedup for ResNet-50 training on ImageNet compared to competitive gossip-based strategies and 1.5x speedup when training ALBERT-large from scratch using preemptible compute nodes.

연구 동기 및 목표

• 연결이 불안정하고 이질적이며 통신 제약이 있는 환경(예: 페더레이티드 러닝 및 클라우드 기반 분산 학습)에서 중심화된 all-reduce 프로토콜의 한계를 해결하기 위해.
• 기존 all-reduce의 확장성 및 장애 내성 문제를 극복하기 위해 고정된 통신 그래프에 의존하지 않고 분산형으로 동적으로 기울기 평균화를 가능하게 하기 위해.
• 변동하는 네트워크 지연, 대역폭, 노드 장애 조건에서도 통신 효율성과 지수적 수렴 속도를 유지할 수 있는 프로토콜을 설계하기 위해.
• 실제로 신뢰성 없는 하드웨어 환경에서 Moshpit All-Reduce를 활용한 분산 학습이 중심화된 방법이나 게이지 기반 방법과 동등하거나 이를 초월하는 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• Moshpit All-Reduce는 분산된 매칭 알고리즘을 사용해 동적으로 피어 그룹을 형성함으로써, 중앙 집중식 조정자가 없는 all-reduce 방식의 평균화를 효율적으로 수행한다.
• 동적으로 형성된 그룹 내에서 반복적 평균화를 수행함으로써, 네트워크 토폴로지나 크기에 관계없이 전역 평균으로의 지수적 수렴을 보장한다.
• 노드 가용성과 네트워크 조건에 적응하는 랜덤화된 그룹 형성 전략을 활용하여, 통신 오버헤드를 최소화하면서도 수렴 보장을 유지한다.
• 실제 가정 조건 하에서 반복 복잡도 측면에서 중심화된 SGD와 동등한 Moshpit SGD를 통해 전체 학습 파이프라인에 통합한다.
• 노드 장애 및 변동하는 네트워크 지연에 강건한 설계로, 사전 정지 가능한 클라우드 인스턴스 및 페더레이티드 러닝 환경에 적합하다.
• 이론적 분석을 통해 네트워크 구조에 독립적인 지수적 수렴 속도를 확립하고, 전역 최적해 수렴에 대한 공식 보장을 제공한다.

실험 결과

연구 질문

• RQ1 고정된 통신 그래프나 중심화된 조정에 의존하지 않고도 분산 평균화 프로토콜이 전역 평균 기울기로 지수적 수렴을 달성할 수 있는가?
• RQ2 변동하는 네트워크 지연과 노드 장애 조건에서 Moshpit All-Reduce의 성능이 게이지 기반 및 중심화된 all-reduce 프로토콜과 비교해 어떻게 되는가?
• RQ3 Moshpit SGD는 이질적이고 신뢰성 없는 하드웨어(예: 사전 정지 가능한 클라우드 VM 또는 페더레이티드 디바이스)에서 얼마나 빠른 학습 속도 향상을 이룰 수 있는가?
• RQ4 실제 비이상적인 학습 환경에서 Moshpit SGD는 중심화된 SGD와 동등한 수렴 보장을 유지하는가?

주요 결과

• Moshpit All-Reduce는 네트워크 토폴로지나 크기에 관계없이 전역 평균 기울기로의 지수적 수렴을 달성하며, 이는 수렴 속도가 네트워크 구조에 영향을 받지 않음을 의미한다.
• ImageNet에서 ResNet-50 학습을 수행한 결과, Moshpit SGD는 경쟁적인 게이지 기반 분산 학습 전략 대비 1.3배의 속도 향상을 기록했다.
• 사전 정지 가능한 클라우드 VM에서 ALBERT-large를 학습한 결과, Moshpit SGD는 기준 게이지 기반 방법 대비 1.5배의 속도 향상을 달성했다.
• 정밀도 평균화 실험에서, 1024명의 워커가 장애 없이 작동할 경우 Moshpit All-Reduce는 오직 2.0회의 반복만으로 1e-9 오차 수준에 도달했으며, 다른 모든 방법보다 뛰어난 성능을 보였다.
• 높은 장애율(최대 1%) 조건에서도 프로토콜은 강력한 성능을 유지했으며, 게이지 및 all-reduce 기준 대비 수렴 시간 증가 폭이 미미했다.
• 단일 8-GPU 서버에서 Moshpit SGD는 AR-SGD 대비 25% 느렸지만, 통신 기반으로 인한 성능 격차는 그 자체로 분산성과 내성성의 이점을 고려할 때 수용 가능한 수준이었다.