[논문 리뷰] Performance Modeling and Evaluation of Distributed Deep Learning Frameworks on GPUs

Shaohuai Shi, Qiang Wang외 1명|arXiv (Cornell University)|2017. 11. 16.

Advanced Neural Network Applications참고 문헌 31인용 수 16

한 줄 요약

이 논문은 Tesla P40 GPU를 탑재한 4노드 GPU 클러스터에서 Caffe-MPI, CNTK, MXNet, TensorFlow의 네 가지 주요 분산 딥러닝 프레임워크의 성능을 평가하며, 단일 GPU, 다중 GPU, 다중 노드 환경에서의 동기적 SGD를 모델링하고 벤치마킹한다. 통신 오버헤드, cuDNN 튜닝, 기울기 집계 숨기기 등이 주요 성능 저하 원인임을 밝혀냈으며, 네트워크 지연과 비최적의 노드 간 통신 패턴으로 인해 스케일링 효율은 35.6%에서 77.7% 사이로 변동한다.

ABSTRACT

Deep learning frameworks have been widely deployed on GPU servers for deep learning applications in both academia and industry. In training deep neural networks (DNNs), there are many standard processes or algorithms, such as convolution and stochastic gradient descent (SGD), but the running performance of different frameworks might be different even running the same deep model on the same GPU hardware. In this study, we evaluate the running performance of four state-of-the-art distributed deep learning frameworks (i.e., Caffe-MPI, CNTK, MXNet, and TensorFlow) over single-GPU, multi-GPU, and multi-node environments. We first build performance models of standard processes in training DNNs with SGD, and then we benchmark the running performance of these frameworks with three popular convolutional neural networks (i.e., AlexNet, GoogleNet and ResNet-50), after that, we analyze what factors that result in the performance gap among these four frameworks. Through both analytical and experimental analysis, we identify bottlenecks and overheads which could be further optimized. The main contribution is that the proposed performance models and the analysis provide further optimization directions in both algorithmic design and system configuration.

연구 동기 및 목표

• 다양한 하드웨어 구성(단일 GPU, 다중 GPU, 다중 노드)에서 분산 딥러닝 프레임워크의 성능를 분석하고 모델링하기.
• 동일한 하드웨어에서 표준 CNN을 학습할 때 최신 프레임워크들(Caffe-MPI, CNTK, MXNet, TensorFlow) 간 성능 격차를 규명하기.
• 데이터 I/O, cuDNN 튜닝, 노드 간 통신이 학습 처리량과 스케일링 효율에 미치는 영향을 조사하기.
• 분산 DNN 학습에서 프레임워크 설계 및 시스템 구성 최적화를 위한 성능 모델과 실질적인 통찰을 제공하기.

제안 방법

• 동기적 SGD의 핵심 구성요소인 기울기 계산, 통신, 집계에 대한 분석적 성능 모델을 개발하였다.
• 세 가지 표준 CNN(AlexNet, GoogleNet, ResNet-50)을 사용하여 단일 GPU, 다중 GPU, 다중 노드 환경에서 네 프레임워크를 벤치마킹하였다.
• 모든 all-reduce 연산에 대해 NCCL2.0(CNTK), TCP 소켓(MXNet), gRPC(TensorFlow)를 사용하여 통신 오버헤드를 측정하고 분석하였다.
• 이론적 스피드업 대비 실제 학습 시간을 비교하여 스케일링 효율을 정량화하였으며, $E_{allreduce}$ 및 $t_{comm}$ 등의 지표를 사용하였다.
• 역전파 계산과 all-reduce 연산 간 겹침을 측정하여 기울기 통신 오버헤드 숨기기의 효과를 평가하였다.
• 제어된 미니배치 크기와 입력 레이아웃을 사용하여 56Gbps InfiniBand를 갖춘 4노드 클러스터에서 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 네 프레임워크(Caffe-MPI, CNTK, MXNet, TensorFlow)는 단일 GPU, 다중 GPU, 다중 노드 환경에서 학습 처리량과 스케일링 효율 측면에서 어떻게 비교되는가?
• RQ2 동일한 하드웨어와 DNN 모델을 사용함에도 불구하고 프레임워크 간 성능 격차가 발생하는 요인는 무엇인가?
• RQ3 기울기 통신 오버헤드를 얼마나 효과적으로 숨길 수 있으며, 이는 다중 GPU 및 다중 노드 환경에서의 스케일링 성능에 어떤 영향을 미치는가?
• RQ4 cuDNN 자동 튜닝과 입력 데이터 레이아웃(예: NCWH 대비 NWHC)은 전방 및 역방향 전파 성능에 어떤 영향을 미치는가?
• RQ5 네트워크 대역폭과 지연(예: 56Gbps InfiniBand)은 다수의 머신 간 확장성 제한 요소로 작용하는가?

주요 결과

• AlexNet과 같은 얕은 네트워크에서는 빠른 GPU를 사용하더라도 큰 미니배치 크기로 인해 데이터 로딩이 병목이 될 수 있으며, 이는 효율적인 데이터 사전 처리의 필요성을 강조한다.
• CNTK와 MXNet은 cuDNN 자동 튜닝과 최적의 입력 레이아웃(예: NCWH) 덕분에 뛰어난 성능를 보였고, TensorFlow와 Caffe-MPI는 비최적의 설정으로 인해 낮은 효율성을 보였다.
• MXNet과 TensorFlow는 역전파 계산과 통신을 겹쳐 기울기 통신 오버헤드를 효과적으로 숨기며 더 나은 스케일링 성능를 보였고, CNTK는 이를 수행하지 않아 효율이 떨어졌다.
• 노드 간 통신 지연으로 인해 네 대의 머신에서 스케일링 효율이 크게 떨어졌으며, CNTK는 AlexNet, GoogleNet, ResNet-50에서 각각 55%, 67.5%, 77.7%의 효율을 달성하였다.
• MXNet는 네 대의 머신에서 통신 오버헤드가 높아(0.4505초 대비 GoogleNet의 0.1819초 역전파 시간), 스케일링 효율이 단 35.6%에 그쳤다.
• TensorFlow는 높은 gRPC 지연과 비최적의 RDMA 사용으로 인해 AlexNet, GoogleNet, ResNet-50에서 각각 50.6%, 75.6%, 52.2%의 스케일링 효율을 기록하였다.