[논문 리뷰] CROSSBOW: Scaling Deep Learning with Small Batch Sizes on Multi-GPU Servers

Alexandros Koliousis, Pijika Watcharapichat외 4명|arXiv (Cornell University)|2019. 01. 08.

Advanced Neural Network Applications참고 문헌 58인용 수 12

한 줄 요약

CROSSBOW는 단일 서버 기반의 멀티_GPU_딥러닝 시스템으로, 소규모 배치 크기(2–32)로 훈련할 때 높은 하드웨어 효율성과 최소한의 통계적 효율성 손실을 달성한다. 이는 전역적으로 일관된 평균 모델를 사용해 다수의 모델 복제본을 동기적으로 조율하는 동기 모델 평균화(Synchronous Model Averaging, SMA)를 통해 달성되며, GPU당 동시에 실행되는 학습자 수를 자동으로 최적화하여 처리량을 극대화함으로써 텐서플로우 대비 훈련 시간을 최대 4배까지 단축시킨다.

ABSTRACT

Deep learning models are trained on servers with many GPUs, and training must scale with the number of GPUs. Systems such as TensorFlow and Caffe2 train models with parallel synchronous stochastic gradient descent: they process a batch of training data at a time, partitioned across GPUs, and average the resulting partial gradients to obtain an updated global model. To fully utilise all GPUs, systems must increase the batch size, which hinders statistical efficiency. Users tune hyper-parameters such as the learning rate to compensate for this, which is complex and model-specific. We describe CROSSBOW, a new single-server multi-GPU system for training deep learning models that enables users to freely choose their preferred batch size - however small - while scaling to multiple GPUs. CROSSBOW uses many parallel model replicas and avoids reduced statistical efficiency through a new synchronous training method. We introduce SMA, a synchronous variant of model averaging in which replicas independently explore the solution space with gradient descent, but adjust their search synchronously based on the trajectory of a globally-consistent average model. CROSSBOW achieves high hardware efficiency with small batch sizes by potentially training multiple model replicas per GPU, automatically tuning the number of replicas to maximise throughput. Our experiments show that CROSSBOW improves the training time of deep learning models on an 8-GPU server by 1.3-4x compared to TensorFlow.

연구 동기 및 목표

• 멀티_GPU_서버에서 소규모 배치 크기로 딥러닝 모델을 훈련할 때 낮은 하드웨어 효율성 문제를 해결하기 위해.
• 일般적으로 수렴 속도와 모델 정확도를 저하시키는 소규모 배치 크기임에도 불구하고 높은 통계적 효율성을 유지하기 위해.
• 배치 크기 증가 없이도 다수의 GPU에 걸쳐 효율적으로 확장되는 시스템을 설계하기 위해.
• GPU당 모델 복제본 수를 자동으로 최적화하여 하드웨어 활용도와 훈련 처리량을 극대화하기 위해.
• 새로운 동기 모델 평균화 프로토콜을 통해 최소한의 통계적 효율성 손실로 고처리량 훈련을 가능하게 하기 위해.

제안 방법

• 다수의 모델 복제본이 독립적으로 경사 하강법을 수행하지만, 전역적으로 일관된 평균 모델을 사용해 업데이트를 동기화하는 새로운 훈련 알고리즘인 동기 모델 평균화(Synchronous Model Averaging, SMA)를 도입한다.
• 학습과 동기화 작업을 분리하기 위해 계층적 트리 기반 작업 스케줄러를 사용하여 동기화가 병목 현상이 되는 것을 방지한다.
• 처리량이 최고조에 도달할 때까지 GPU당 동시 학습자 수를 점진적으로 증가시켜 GPU당 동시 학습자 수를 자동으로 최적화한다.
• SMA에서 동작량 기반 보정을 적용하여 평균 모델의 수렴 속도와 안정성을 향상시킨다.
• 모든 복제본 간에 전역 평균 모델의 강력한 일관성을 유지하여 동기화되고 일관된 훈련을 보장한다.
• 전역 동기화 장벽을 트리 구조의 계층으로 나누어 GPU에서 학습 및 동기화 작업을 효율적으로 동시 실행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 소규모 배치 크기로 멀티_GPU_서버에서 딥러닝 시스템이 통계적 효율성을 희생시키지 않고도 높은 하드웨어 효율성을 달성할 수 있는가?
• RQ2 소규모 배치 크기를 사용할 때 다수의 GPU에 걸쳐 모델 복제본을 효과적으로 동기화할 수 있는 방법은 무엇인가?
• RQ3 처리량을 극대화하면서도 일관성을 유지하기 위해 GPU당 최적의 모델 복제본 수는 얼마인가?
• RQ4 SMA와 같은 동기 훈련 방법이 기존 이방향 또는 파라미터 서버 기반 접근 방식보다 속도와 통계적 효율성 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ5 GPU당 학습자 수를 자동 최적화하면 처리량과 확장성에 어떤 영향을 미치는가?

주요 결과

• CROSSBOW는 8_GPU_서버에서 소규모 배치 크기를 사용할 때 텐서플로우 대비 훈련 시간을 최대 4배까지 단축시킨다.
• 다양한 딥러닝 모델, 특히 ResNet과 VGG에서 소규모 배치 크기 조건 하에서 1.3–4배의 속도 향상을 달성한다.
• SMA는 일관된 평균 모델를 사용해 모델 경로를 동기적으로 교정함으로써 높은 통계적 효율성을 달성하며, 오래된 기울기를 야기하는 이방향 방법보다 뛰어난 성능을 보인다.
• GPU당 학습자 수를 자동 최적화함으로써 하드웨어 활용도를 높이고 수동 설정 없이 최적 처리량을 확보한다.
• 계층적 작업 스케줄러는 동기화 병목 현상을 방지하여 GPU에서 학습 및 동기화 작업을 동시에 실행할 수 있도록 한다.
• CROSSBOW는 모든 복제본 간에 평균 모델의 강력한 일관성을 유지하여 많은 수의 동시 학습자 존재하더라도 신뢰할 수 있고 안정적인 훈련을 보장한다.