[논문 리뷰] Optimizing Multi-GPU Parallelization Strategies for Deep Learning Training

Saptadeep Pal, Eiman Ebrahimi외 6명|arXiv (Cornell University)|2019. 07. 30.

Advanced Neural Network Applications참고 문헌 20인용 수 72

한 줄 요약

이 논문은 대규모에서의 확장성과 통계적 효율성의 한계를 극복하기 위해 데이터 병렬성(DP)과 모델 병렬성(MP)을 조합한 하이브리드 다중-GPU 학습 전략을 제안한다. 분석적 프레임워크와 DLPlacer—최적의 연산-장치 배치를 위한 혼합정수선형계획법 도구—를 사용하여, 하이브리드 학습이 각각 Inception-V3, GNMT, BigLSTM에 대해 종단 간 학습 속도 향상률이 26.5%, 8%, 22%에 이를 뿐 아니라 순수 DP보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Deploying deep learning (DL) models across multiple compute devices to train large and complex models continues to grow in importance because of the demand for faster and more frequent training. Data parallelism (DP) is the most widely used parallelization strategy, but as the number of devices in data parallel training grows, so does the communication overhead between devices. Additionally, a larger aggregate batch size per step leads to statistical efficiency loss, i.e., a larger number of epochs are required to converge to a desired accuracy. These factors affect overall training time and beyond a certain number of devices, the speedup from leveraging DP begins to scale poorly. In addition to DP, each training step can be accelerated by exploiting model parallelism (MP). This work explores hybrid parallelization, where each data parallel worker is comprised of more than one device, across which the model dataflow graph (DFG) is split using MP. We show that at scale, hybrid training will be more effective at minimizing end-to-end training time than exploiting DP alone. We project that for Inception-V3, GNMT, and BigLSTM, the hybrid strategy provides an end-to-end training speedup of at least 26.5%, 8%, and 22% respectively compared to what DP alone can achieve at scale.

연구 동기 및 목표

• GPU 수가 증가함에 따라 데이터 병렬 학습의 수익 감소 문제를 해결하기 위해, 특히 통신 오버헤드 증가와 통계적 효율성 감소로 인한 영향을 고려한다.
• 순수 데이터 병렬성의 확장성 한계를 초월할 수 있도록 모델 병렬성을 도입할 최적의 시점을 규명한다.
• 모델 아키텍처와 하드웨어 제약 조건을 기반으로 최적의 병렬화 전략(DP 대비 하이브리드)을 결정하는 체계적인 프레임워크를 개발한다.
• 모델 병렬성의 속도 향상을 최대화하기 위해 최적의 연산-장치 배치를 찾는 정수선형계획법 기반 도구인 DLPlacer를 개발한다.
• 다양한 딥러닝 모델을 대상으로 하이브리드 병렬화가 종단 간 학습 시간을 크게 단축시킴을 경험적으로 검증한다.

제안 방법

• 저자는 데이터 병렬성의 성능 저하가 모델 병렬성으로 얻을 수 있는 속도 향상보다 더 빠르게 발생하는 교차점( crossover point )을 예측하기 위한 분석 모델을 개발한다.
• 파이프라인 처리와 층 간 분할을 활용하여 Inception-V3, GNMT, BigLSTM의 2웨이 모델 병렬 버전을 구현하여 다중 GPU에서 동시 실행을 가능하게 한다.
• DLPlacer는 최적의 장치 간 연산 배치를 찾기 위한 정수선형계획법 공식화로, 통신 오버헤드를 최소화하고 병렬성을 최대화한다.
• 프레임워크는 다양한 글로벌 배치 크기와 장치 수를 기반으로 순수 DP와 하이브리드 DP+MP 전략 간의 학습 시간과 수렴 성능을 평가한다.
• 실제 모델과 하드웨어 구성 정보를 사용하여 종단 간 학습 속도 향상을 예측하고, Inception-V3에서 측정된 속도 향상 결과로 검증한다.

실험 결과

연구 질문

• RQ1 통신 오버헤드 증가와 통계적 효율성 감소로 인해 데이터 병렬성만으로는 어느 규모에서 학습 속도 향상이 떨어지기 시작하는가?
• RQ2 모델 병렬성을 어떻게 효과적으로 데이터 병렬성과 융합하여 대규모에서 학습 처리량을 유지하거나 향상시킬 수 있는가?
• RQ3 통신 비용을 최소화하면서도 속도 향상을 극대화하는 모델 병렬성의 최적 장치 배치 전략은 무엇인가?
• RQ4 주어진 모델과 하드웨어 환경에 대해 최적의 병렬화 전략(DP 대비 하이브리드)을 예측할 수 있는 체계적 프레임워크는 존재하는가?
• RQ5 다양한 딥러닝 아키텍처에서 하이브리드 병렬화가 순수 데이터 병렬성 대비 종단 간 학습 시간을 얼마나 줄일 수 있는가?

주요 결과

• Inception-V3의 경우, 하이브리드 전략이 대규모에서 순수 데이터 병렬성 대비 최소 26.5%의 종단 간 학습 속도 향상을 달성한다.
• GNMT의 경우, 하이브리드 접근 방식이 순수 데이터 병렬성 대비 최소 8%의 종단 간 학습 속도 향상을 제공한다.
• BigLSTM의 경우, 하이브리드 전략이 순수 데이터 병렬성 대비 최소 22%의 종단 간 학습 시간 단축을 이룬다.
• DLPlacer가 예측한 Inception-V3의 모델 병렬성 속도 향상률(1.32x)은 실제 측정된 속도 향상률과 6% 이내로, 배치 최적화의 정확성을 검증한다.
• 각 모델에 대해 데이터 병렬성의 수익 감소가 모델 병렬성의 속도 향상에 의해 상쇄되는 고유한 교차점이 존재하며, 이는 최적의 하이브리드 전략 선택을 가능하게 한다.
• 결과적으로 순수 데이터 병렬성이 비효율해지는 특정 GPU 수 이상에서 하이브리드 병렬화가 딥러닝 학습 확장에 필수적임을 입증한다.