[논문 리뷰] On Scale-out Deep Learning Training for Cloud and HPC

Srinivas Sridharan, Karthikeyan Vaidyanathan외 9명|arXiv (Cornell University)|2018. 01. 24.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 19

한 줄 요약

이 논문은 클라우드 및 HPC 시스템에서 스케일아웃 딥러닝 훈련을 최적화한 고성능 통신 라이브러리인 Intel® 머신러닝 스케일링 라이브러리(MLSL)를 제시한다. 비동기 통신 진행, 메시지 우선순위 지정, 저정밀도 컬렉티브 연산을 통해 MLSL은 ResNet-50에 대해 256개 노드에서 90%의 스케일링 효율을 달성했으며, 표준 MPI 대비 첫 번째 레이어 통신 지연을 1.8배에서 2.2배 감소시켰다.

ABSTRACT

The exponential growth in use of large deep neural networks has accelerated the need for training these deep neural networks in hours or even minutes. This can only be achieved through scalable and efficient distributed training, since a single node/card cannot satisfy the compute, memory, and I/O requirements of today's state-of-the-art deep neural networks. However, scaling synchronous Stochastic Gradient Descent (SGD) is still a challenging problem and requires continued research/development. This entails innovations spanning algorithms, frameworks, communication libraries, and system design. In this paper, we describe the philosophy, design, and implementation of Intel Machine Learning Scalability Library (MLSL) and present proof-points demonstrating scaling DL training on 100s to 1000s of nodes across Cloud and HPC systems.

연구 동기 및 목표

• 클라우드 및 HPC 환경에서 수백~수천 개 노드로 딥러닝 훈련을 스케일링하는 과제를 해결한다.
• 지연 시간 우선순위 지정 및 계산-통신 겹침 기능이 부족한 기존 통신 라이브러리(예: MPI)의 한계를 극복한다.
• 지능적인 워크로드 분할 및 시스템 수준 최적화를 통해 계산 대 통신 비율을 극대화하여 효율적인 대배치 훈련을 가능하게 한다.
• 다양한 딥러닝 프레임워크 간 통일된 소프트웨어 인터페이스를 제공하여 스케일러블 훈련 솔루션의 표준화 및 구현 가속화를 달성한다.

제안 방법

• 노드를 그룹으로 조직하여 데이터 병렬과 모델 병렬을 조합한 하이브리드 병렬 처리 기법을 도입함으로써, 레이어 특성에 따라 탄력적인 워크로드 분할을 가능하게 한다.
• 작은 배치 크기 최적화 및 계산-통신 겹침 활용을 통해 계산 대 통신 비율을 극대화하며, 특히 데이터 병렬 환경에서 유리하다.
• MLSL에서 메시지 우선순위 지정을 구현하여, 더 큰 후속 레이어 작업보다 먼저 발행된 경우에도 지연 시간에 민감한 통신(예: 첫 번째 레이어 기울기)을 빠르게 처리한다.
• 전용 코어를 사용해 통신 작업의 비동기 진행을 지원함으로써, 훈련 파이프라인 내 계산과 통신의 겹침을 향상시킨다.
• 컬렉티브 연산에 저정밀도 데이터 유형(예: bfloat16)을 지원하여 통신 부하를 감소시키고 스케일링 효율을 향상시킨다.
• 통일된 API를 통해 주요 딥러닝 프레임워크(Caffe, TensorFlow, nGraph)와 MLSL를 통합함으로써, 기반 병렬 처리 전략을 추상화하고 스택 전반에 걸쳐 일관된 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 수천 개 노드에 걸쳐 대규모 분산 딥러닝 훈련에서 통신 오버헤드를 어떻게 최소화할 수 있는가?
• RQ2 데이터 병렬 딥러닝 워크로드에서 높은 스케일링 효율을 달성하기 위해 필요한 시스템 수준 최적화는 무엇인가?
• RQ3 지연 시간에 민감한 통신(예: 첫 번째 레이어 기울기)을 우선순위 처리하면 전체 훈련 성능에 어떤 영향을 미치는가?
• RQ4 하이브리드 병렬 처리와 계산-통신 겹침을 통해 기존의 전통적 데이터 병렬 또는 모델 병렬 방식을 초월해 스케일링을 얼마나 향상시킬 수 있는가?
• RQ5 MLSL와 같은 통일된 통신 라이브러리는 다양한 딥러닝 프레임워크 간 일관된 성능 향상을 가능하게 할 수 있는가?

주요 결과

• Intel Xeon Gold 6148 프로세서와 Omnipath 패브릭을 사용한 ResNet-50 훈련에서 MLSL은 256개 노드에서 90%의 스케일링 효율을 달성했다.
• 메시지 우선순위 지정으로 인해 표준 MPI 대비 첫 번째 레이어 통신 노출 시간이 1.8배에서 2.2배 감소하여 지연 시간에 민감한 성능 향상이 뚜렷했다.
• 과학적 패턴 분류 작업에 대해 9,600개의 Xeon-Phi 노드까지 확장 가능하여 초대규모 HPC 워크로드의 실현 가능성을 입증했다.
• 바르셀로나 슈퍼컴퓨팅 센터에서 256개 노드로 ResNet-50을 40분 내에 훈련하여 상위-1 검증 정확도 75.8%를 달성했다.
• 64개 노드에서 TensorFlow 통합 버전의 MLSL는 93% 이상의 스케일링 효율을 기록했으며, 내장된 Horovod-MPI 구현보다 뛰어난 성능을 보였다.
• MLSL에서 저정밀도 통신과 지속적 컬렉티브 기능을 사용함으로써 대역폭 압박을 줄이고 통신 효율을 향상시켰으며, 모델 정확도에 영향을 주지 않았다.