[논문 리뷰] A Survey and Empirical Evaluation of Parallel Deep Learning Frameworks

Daniel Nichols, Siddharth Singh외 2명|arXiv (Cornell University)|2021. 11. 09.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 주요 병렬 딥러닝 프레임워크를 종합적으로 조사하고, 시각 및 언어 작업에서 데이터 병렬성, 내층 병렬성, 그리고 상하위 병렬성 간의 성능을 실증적으로 평가한다. 데이터 병렬성이 통계적 효율성과 확장성 측면에서 뛰어난 성능을 보이며, ZeRO는 성능 손실 없이 메모리를 42–66% 감소시켰고, 하이브리드 접근 방식(예: 메가트론 + 데이터 병렬성)은 고GPU 수에서 대규모 모델을 학습하는 데 최적임을 확인했다.

ABSTRACT

The field of deep learning has witnessed a remarkable shift towards extremely compute- and memory-intensive neural networks. These newer larger models have enabled researchers to advance state-of-the-art tools across a variety of fields. This phenomenon has spurred the development of algorithms for distributed training of neural networks over a larger number of hardware accelerators. In this paper, we discuss and compare current state-of-the-art frameworks for large scale distributed deep learning. First, we survey current practices in distributed learning and identify the different types of parallelism used. Then, we present empirical results comparing their performance on large image and language training tasks. Additionally, we address their statistical efficiency and memory consumption behavior. Based on our results, we discuss algorithmic and implementation portions of each framework which hinder performance.

연구 동기 및 목표

• 현재 최신 분산 딥러닝 프레임워크와 그 병렬화 전략에 대한 종합적 설문 제공.
• 대규모 이미지 및 언어 학습 작업에서 오픈소스 프레임워크의 실증적 평가를 통해 런타임, 메모리 소비, 통계적 효율성 비교.
• 현대 딥러닝 프레임워크에서 성능을 저해하는 알고리즘적 및 구현적 병목 현상 규명.
• 모델 크기, 하드웨어 제약 조건, 학습 효율성 목표에 따라 연구자 및 실무자가 최적의 프레임워크를 선택할 수 있도록 안내.

제안 방법

• 병렬화 전략을 세 가지 유형으로 분류: 데이터 병렬성, 내층(모델) 병렬성, 상하위(파이ipel라인) 병렬성.
• A100 및 V100 GPU를 탑재한 두 개의 클러스터에서 여섯 개의 오픈소스 프레임워크(DistributedDataParallel, PipeDream, ZeRO, Megatron, TorchGPipe, LBANN)를 선택하고 벤치마킹.
• 다양한 GPU 수에 걸쳐 에포크 실행 시간, 통계적 효율성(시간에 따른 검증 정확도/퍼플렉서티), GPU당 메모리 사용량 측정.
• 표준 벤치마크로 VGG-16을 ImageNet에서, 언어 모델링 데이터셋에서 GPT2-medium를 사용해 확장성과 수렴 성능 평가.
• 데이터 병렬성에서의 유효 배치 크기 증가와 파이프라인 프레임워크에서의 가중치 노후화( staleness ) 영향 분석.
• 학습 시간에 따라 검증 지표를 플로팅하여 종합적인 성능과 통계적 효율성 평가, 에포크 수에만 의존하지 않음.

실험 결과

연구 질문

• RQ1 데이터 병렬성, 내층 병렬성, 상하위 병렬성과 같은 다양한 병렬화 전략은 학습 속도, 메모리 사용량, 통계적 효율성 측면에서 어떻게 비교되는가?
• RQ2 GPU 수 증가가 각 프레임워크의 성능과 메모리 소비에 어떤 영향을 미치는가?
• RQ3 가중치 노후화와 기울기 동기화 메커니즘이 파이프라인 프레임워크에서 수렴 속도와 통계적 효율성에 미치는 영향은 무엇인가?
• RQ4 ZeRO와 같은 메모리 최적화 기법이 학습 속도를 희생시키지 않고 GPU 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ5 대규모 모델을 고GPU 수 시스템에서 학습하기 위한 최적의 하이브리드 전략(예: 내층 병렬성과 데이터 병렬성의 조합)은 무엇인가?

주요 결과

• 데이터 병렬성 프레임워크(DistributedDataParallel, ZeRO, LBANN)는 가장 높은 통계적 효율성을 기록했으며, 검증 곡선은 거의 동일했고, 파이프라인 방법보다 수렴 속도가 뛰어났다.
• PipeDream는 조절되지 않은 가중치 노후화로 인해 수렴 속도가 현저히 느렸으며, 가중치 스토리지 기법을 도입했음에도 불구하고 대규모 학습에 효과적이지 않았다.
• ZeRO는 DDP 대비 GPU당 메모리 사용량을 42–66% 감소시켰고, GPU 수가 증가할수록 메모리 절감 효과가 커졌으며, 학습 속도에 영향을 주지 않았다.
• 메가트론-내층 병렬성은 언어 작업에서 낮은 GPU 수에서는 데이터 병렬 프레임워크보다 더 높은 통계적 효율성을 보였지만, 확장성 확보 시 유효 배치 크기 증가로 인해 성능 저하가 발생했다.
• 메가트론에서 관찰된 U자형 메모리 곡선은 더 높은 GPU 수에서 증가하는 활성화 메모리로 인해 발생했으며, 이는 층 분할로 인한 가중치 메모리 절감 효과를 상쇄했다.
• 내층 병렬성(Megatron 등)과 데이터 병렬성의 조합으로 구성된 하이브리드 접근 방식이 대규모 모델, 특히 고GPU 수 환경에서 최적의 성능과 메모리 효율성을 제공했다.