[논문 리뷰] Characterizing and Modeling Distributed Training with Transient Cloud GPU Servers

Shijian Li, Robert J. Walls외 1명|arXiv (Cornell University)|2020. 04. 07.

Advanced Neural Network Applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 일시적인 클라우드 GPU 서버에서 분산 학습 성능을 특성화하고 예측하기 위한 대규모 실험 연구 및 모델링 프레임워크인 CM-DARE를 제안한다. 3종류의 GPU 유형과 6개의 지역에서 20개의 CNN에 대한 측정 결과를 바탕으로, 회귀 기반 모델이 평균 절대 퍼센티지 오차가 3.4% 미만으로 학습 속도와 장애 복구 오버헤드를 예측할 수 있음을 입증하며, 과부하가 걸린 파라미터 서버와 같은 성능 저하 요인을 탐지할 수 있다.

ABSTRACT

Cloud GPU servers have become the de facto way for deep learning practitioners to train complex models on large-scale datasets. However, it is challenging to determine the appropriate cluster configuration---e.g., server type and number---for different training workloads while balancing the trade-offs in training time, cost, and model accuracy. Adding to the complexity is the potential to reduce the monetary cost by using cheaper, but revocable, transient GPU servers. In this work, we analyze distributed training performance under diverse cluster configurations using CM-DARE, a cloud-based measurement and training framework. Our empirical datasets include measurements from three GPU types, six geographic regions, twenty convolutional neural networks, and thousands of Google Cloud servers. We also demonstrate the feasibility of predicting training speed and overhead using regression-based models. Finally, we discuss potential use cases of our performance modeling such as detecting and mitigating performance bottlenecks.

연구 동기 및 목표

• 일시적인 클라우드 GPU 서버에서의 분산 학습 성능 특성을 이해하기 위해, 비용은 저렴하지만 예기치 않게 취소될 수 있는 환경을 대상으로 한다.
• 이질적이고 일시적인 클러스터 환경에서 학습 속도와 장애 복구 오버헤드에 영향을 주는 핵심 요인을 규명한다.
• 실세계 클라우드 환경에서의 학습 스루풋과 오버헤드를 예측하기 위한 정확한 데이터 기반 성능 모델을 개발한다.
• 학습 중 성능 저하 요인을 탐지하고 완화하는 등의 실용적 응용 사례를 가능하게 한다.
• CM-DARE를 구축하고 오픈소스화하여, 장애 복구에 대한 내재된 최적화와 일시성 인식 기능을 갖춘 분산 학습을 지원한다.

제안 방법

• TensorFlow와 Tensor2Tensor를 확장하여 일시성 인식 최적화 및 모니터링 기능을 갖춘 클라우드 기반 측정 및 학습 프레임워크인 CM-DARE를 구축하였다.
• 20개의 합성곱 신경망, 3종류의 GPU 유형(T4, V100, P100), 6개의 Google Cloud 지역에서 대규모 실험을 수행하여 학습 속도, 서버 취소 시간, 오버헤드 지표를 수집하였다.
• 클러스터 크기, GPU 유형, 모델 복잡도 등의 특징을 사용하여 학습 속도와 장애 복구 오버헤드를 예측하기 위한 회귀 기반 모델을 개발하였다.
• 30초의 웜업 기간과 6.7%의 속도 차이 임계값을 사용하여 성능 이질성을 탐지하는 동적 성능 저하 요인 탐지 메커니즘을 CM-DARE에 구현하였다.
• 평균 절대 퍼센티지 오차(MAPE)를 사용하여 모델 정확도를 평가하였으며, 학습 속도 예측의 경우 최소 3.4%의 정확도를 달성하였다.
• 서버가 취소될 경우 데이터 손실과 재시작 오버헤드를 줄이기 위해 일시성 인식 체크포인팅 및 복구 메커니즘을 설계하고 통합하였다.

실험 결과

연구 질문

• RQ1 다양한 GPU 유형을 포함한 클러스터 이질성은 일시적인 클라우드 서버에서의 분산 학습 성능에 어떤 영향을 미치는가?
• RQ2 회귀 기반 모델은 일시적인 클라우드 GPU 클러스터에서 학습 속도와 장애 복구 오버헤드를 어느 정도 정확하게 예측할 수 있는가?
• RQ3 일시적인 서버에서의 분산 학습에서 핵심 성능 저하 요인은 무엇이며, 실시간으로 어떻게 탐지할 수 있는가?
• RQ4 파라미터 서버의 수를 늘일수록 이질적 클러스터에서 학습 속도와 확장성은 어떻게 영향을 받는가?
• RQ5 정확한 성능 모델은 클라우드 기반 딥러닝 워크로드에서 학습 비효율성을 사전에 완화하는 데 기여할 수 있는가?

주요 결과

• 이종 클러스터에서의 학습 속도는 개별 서버 속도의 합과 거의 동일하며, 최적 조건에서 거의 선형 확장성을 보인다.
• 회귀 모델은 학습 속도 예측에서 평균 절대 퍼센티지 오차(MAPE)가 최소 3.4%로 매우 높은 정확도를 보이며, 실세계 적용에 적합함을 입증한다.
• 모델 체크포인팅으로 인한 장애 복구 오버헤드는 높은 정확도로 예측 가능하며, 이는 학습 시간 예측에 통합되어 비용과 시간 추정을 향상시킬 수 있다.
• 과부하가 걸린 파라미터 서버는 확장성에 심각한 제약을 가한다. 하나의 파라미터 서버에서 두 개로 증가시킴으로써 대규모 클러스터에서 학습 속도가 최대 70.6% 향상되었다.
• CM-DARE는 예측된 학습 속도와 측정된 학습 속도를 비교하여 실시간으로 성능 저하 요인을 탐지함으로써 조기 대응이 가능했다.
• 프레임워크와 데이터셋은 공개되어 있어 재현성과 향후 일시적 분산 학습 최적화 연구를 위한 기초 자료로 활용 가능하다.