[논문 리뷰] On the Utility of Gradient Compression in Distributed Training Systems

Saurabh Agarwal, Hongyi Wang외 2명|arXiv (Cornell University)|2021. 02. 28.

Stochastic Gradient Optimization Techniques참고 문헌 94인용 수 19

한 줄 요약

이 논문은 분산 학습에서 기울기 압축을 평가하며, 계산과 통신을 겹치는 등의 체계적 최적화에도 불구하고 최적화된 동기적 SGD 대비 속도 향상이 이루어진 구성은 200개 이상의 설정 중 단 6개에 불과하다는 것을 발견한다. 핵심 통찰은 기울기 압축 방법에서의 높은 인코딩-디코딩 오버헤드가 고대역폭 환경에서 특히 이점을 제한하며, 향후 성능 향상은 더 빠른 계산 또는 압축 지연 시간 단축에 달려 있다.

ABSTRACT

A rich body of prior work has highlighted the existence of communication bottlenecks in synchronous data-parallel training. To alleviate these bottlenecks, a long line of recent work proposes gradient and model compression methods. In this work, we evaluate the efficacy of gradient compression methods and compare their scalability with optimized implementations of synchronous data-parallel SGD across more than 200 different setups. Surprisingly, we observe that only in 6 cases out of more than 200, gradient compression methods provide speedup over optimized synchronous data-parallel training in the typical data-center setting. We conduct an extensive investigation to identify the root causes of this phenomenon, and offer a performance model that can be used to identify the benefits of gradient compression for a variety of system setups. Based on our analysis, we propose a list of desirable properties that gradient compression methods should satisfy, in order for them to provide a meaningful end-to-end speedup.

연구 동기 및 목표

• 현대 분산 학습 시스템에서 기울기 압축의 실용적 유용성을 평가하기 위해.
• 계산과 통신을 겹치는 최적화된 동기적 SGD와 비교해 기울기 압축 방법을 평가하기 위해.
• 기울기 압축이 이론적으로 통신량을 줄일 수 있음에도 불구하고 왜 자주 속도 향상이 이루어지지 않는지 규명하기 위해.
• 기울기 압축이 종합적인 학습 속도 향상에 기여할 수 있는지 예측할 수 있는 성능 모델을 개발하기 위해.
• 의미 있는 확장성을 달성하기 위해 향후 기울기 압축 방법이 가져야 할 바람직한 특성을 정의하기 위해.

제안 방법

• ResNet-50, ResNet-101, BERT를 사용하여 200개 이상의 설정에서 기울기 압축 방법 3종—sign SGD, MSTop-K, PowerSGD—를 실증적으로 평가하였다.
• 계산과 백워드 전파를 겹치기 위해 PyTorch v1.8의 통신 후크 인터페이스를 사용하였다.
• 다양한 배치 크기, 네트워크 대역폭(1–30 Gbps), GPU 수(최대 96개)에서 종합적인 반복 시간을 측정하였다.
• 계산, 통신, 인코딩-디코딩 오버헤드를 고려한 분석 성능 모델을 구축하여 압축의 유용성을 예측하였다.
• 계산 속도를 최대 4배로 향상시키고, 다양한 압축 비율에서 인코딩-디코딩 시간을 단축시키는 영향을 시뮬레이션하였다.
• 효율적인 all-reduce 통신을 위해 NCCL을 사용하였고, PyTorch DDP의 내장 최적화 기능과 비교 벤치마크를 수행하였다.

실험 결과

연구 질문

• RQ1 어떤 시스템 조건에서 기울기 압축이 최적화된 동기적 SGD 대비 종합적인 학습 속도 향상이 이루어지는가?
• RQ2 기울기 압축 방법이 통신량을 줄임에도 불구하고 왜 속도 향상이 이루어지지 않는가?
• RQ3 계산과 통신 겹침과 같은 시스템 최적화가 기울기 압축의 실현 가능성에 어떤 영향을 미치는가?
• RQ4 네트워크 대역폭과 계산 속도는 기울기 압축의 효과성에 어떤 영향을 미치는가?
• RQ5 압축 비율과 인코딩-디코딩 시간 사이에서 어떤 트레이드오프가 성능 향상에 가장 유리한가?

주요 결과

• 기본 데이터센터 대역폭에서 최적화된 동기적 SGD 대비 기울기 압축으로 인한 속도 향상이 이루어진 실험 설정은 200개 이상 중 단 6개에 불과하다.
• 기울기 압축 방법의 인코딩-디코딩 시간(예: 50ms 이상)이 통신를 숨길 수 있는 윈도우를 초과하여 속도 향상 가능성을 제한한다.
• PowerSGD는 all-reduce와 호환되기 때문에 sign SGD보다 확장성 면에서 뛰어나다. 반면 sign SGD는 all-reduce 지원이 없어 더 높은 지연 시간을 유발한다.
• 네트워크 대역폭이 9 Gbps를 초과하면 PowerSGD는 고정된 인코딩-디코딩 오버헤드로 인해 동기적 SGD보다 느려진다.
• 계산 속도를 4배로 향상시키면 Rank-4를 사용하는 PowerSGD는 최대 1.75배의 속도 향상을 달성할 수 있으며, 이는 향후 하드웨어 발전이 압축의 이점을 해방시킬 수 있음을 보여준다.
• 압축 비율을 낮추더라도 인코딩-디코딩 시간을 단축시키면 성능 향상이 크게 향상되며, 이는 압축 비율보다 지연 시간 단축이 훨씬 더 중요함을 시사한다.