[논문 리뷰] Characterizing Deep Learning Training Workloads on Alibaba-PAI

Mengdi Wang, Chen Meng외 5명|arXiv (Cornell University)|2019. 10. 14.

Advanced Neural Network Applications참고 문헌 48인용 수 5

한 줄 요약

이 논문은 알리바바-PAI에서의 딥러닝 훈련 워크로드를 특성화하기 위해 경량 분석 프레임워크를 제안하며, 통신 오버헤드가 주요 병목임을 규명한다. 다양한 워크로드를 통해 실행 시간을 모델링한 결과, 평균적으로 가중치/기울기 통신이 총 훈련 시간의 62%를 차지하며, 100 Gbps 이더넷을 통해 1.7배의 성능 향상이 가능하고, PS/워커 워크로드의 60%가 NVLink를 활용한 AllReduce로 전환할 경우 성능 향상이 유의미하게 이루어진다.

ABSTRACT

Modern deep learning models have been exploited in various domains, including computer vision (CV), natural language processing (NLP), search and recommendation. In practical AI clusters, workloads training these models are run using software frameworks such as TensorFlow, Caffe, PyTorch and CNTK. One critical issue for efficiently operating practical AI clouds, is to characterize the computing and data transfer demands of these workloads, and more importantly, the training performance given the underlying software framework and hardware configurations. In this paper, we characterize deep learning training workloads from Platform of Artificial Intelligence (PAI) in Alibaba. We establish an analytical framework to investigate detailed execution time breakdown of various workloads using different training architectures, to identify performance bottleneck. Results show that weight/gradient communication during training takes almost 62% of the total execution time among all our workloads on average. The computation part, involving both GPU computing and memory access, are not the biggest bottleneck based on collective behavior of the workloads. We further evaluate attainable performance of the workloads on various potential software/hardware mappings, and explore implications on software architecture selection and hardware configurations. We identify that 60% of PS/Worker workloads can be potentially sped up when ported to the AllReduce architecture exploiting the high-speed NVLink for GPU interconnect, and on average 1.7X speedup can be achieved when Ethernet bandwidth is upgraded from 25 Gbps to 100 Gbps.

연구 동기 및 목표

• 알리바바의 PAI 플랫폼에서 실행되는 실세계 딥러닝 훈련 워크로드의 성능 병목 요인을 이해하기 위해.
• 대규모 AI 클러스터에서 계산, 메모리 액세스, 또는 통신 중 어느 것이 성능에 가장 큰 영향을 미치는지 규명하기 위해.
• 분석 모델을 사용하여 소프트웨어/하드웨어 구성에 따른 성능 향상 가능성을 예측하기 위해.
• 워크로드 특성에 기반한 시스템 아키텍처 및 하드웨어 조달 의사결정을 안내하기 위해.

제안 방법

• 수천 개의 프로덕션 훈련 작업에서 실행 시간 메트릭을 수집하는 경량 프로파일링 프레임워크를 구축한다.
• 워크로드 실행 시간을 계산, 데이터 I/O, 가중치/기울기 통신 단계로 분해한다.
• 핵심 워크로드 특징을 기반으로 분석 성능 모델을 수립하여 다양한 시스템 구성에서의 행동을 예측한다.
• 모델을 활용해 PS/워커 아키텍처 대비 AllReduce 아키텍처 및 하드웨어(예: 25 Gbps에서 100 Gbps 이더넷, NVLink) 전환에 따른 성능 향상 가능성을 예측한다.
• 테스트베드 실험을 통한 사례 연구를 통해 모델 정확도를 검증하였으며, 추정된 성능과 실제 성능 간 평균 오차가 10% 미만임을 확인하였다.
• 혼합 정밀도 훈련 및 XLA 연산 융합과 같은 최적화 기법을 워크로드 특성에 기반한 병목 요인의 맥락에서 평가하였다.

실험 결과

연구 질문

• RQ1 알리바바-PAI에서 실세계 딥러닝 훈련 워크로드의 주요 성능 병목 요인은 무엇인가?
• RQ2 특히 가중치/기울기 전송에 따른 통신 오버헤드가 계산 및 I/O 대비 실행 시간에서 차지하는 비율은 어떻게 되는가?
• RQ3 고속 GPU 인터커넥트를 활용한 AllReduce 아키텍처로 전환할 경우 성능 향상은 어느 정도 기대할 수 있는가?
• RQ4 25 Gbps에서 100 Gbps 이더넷으로 네트워크 대역폭을 업그레이드할 경우, 다양한 워크로드에서 훈련 성능에 어떤 영향을 미치는가?
• RQ5 분석 모델이 시스템 구성 변경에 따른 실제 성능 향상 가능성을 어느 정도 정확하게 예측할 수 있는가?

주요 결과

• 모든 워크로드 평균적으로 가중치/기울기 통신이 총 훈련 시간의 62%를 차지하며, 이는 주요 성능 병목 요인이다.
• 고성능 GPU 활용도에도 불구하고 계산 및 메모리 액세스는 주요 병목 요인이 아니며, 통신이 핵심 제약 조건임을 시사한다.
• 25 Gbps에서 100 Gbps 이더넷으로 전환할 경우 워크로드 평균으로 1.7배의 성능 향상이 기대된다.
• PS/워커 워크로드의 60%는 NVLink 기반 GPU 인터커넥트를 활용한 AllReduce로 전환할 경우 유의미한 성능 향상이 가능하다.
• 분석 모델은 실제 성능을 평균 10% 이내 오차로 정확하게 예측하여 최적화 가이드라인으로서의 정확도를 입증하였다.
• 기울기 통신 최적화 이후 분산 워크로드에서 데이터 I/O가 잠재적 병목 요인이 되며, 특히 단일 노드 환경에서 두드러진다.