[논문 리뷰] DBS: Dynamic Batch Size For Distributed Deep Neural Network Training

Qing Ye, Yuhao Zhou외 3명|arXiv (Cornell University)|2020. 07. 23.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 분산 DNN 학습을 위한 새로운 전략인 동적 배치 크기(Dynamic Batch Size, DBS)를 제안한다. 이 전략은 워커 성능에 기반해 배치 크기와 데이터셋 분할을 동적으로 조정함으로써 클러스터 활용도를 향상시킨다. 성능 인식 기반의 로드 밸런싱을 통해 유휴 시간을 최소화함으로써, 4워커 클러스터에서 학습 시간을 최대 12% 감소시키며, 배경 작업과 같은 시스템 장애에 대해 강력한 내성성을 보이며, 이론적 보장이 있는 S-SGD와 유사한 수렴 성능을 유지한다.

ABSTRACT

Synchronous strategies with data parallelism, such as the Synchronous StochasticGradient Descent (S-SGD) and the model averaging methods, are widely utilizedin distributed training of Deep Neural Networks (DNNs), largely owing to itseasy implementation yet promising performance. Particularly, each worker ofthe cluster hosts a copy of the DNN and an evenly divided share of the datasetwith the fixed mini-batch size, to keep the training of DNNs convergence. In thestrategies, the workers with different computational capability, need to wait foreach other because of the synchronization and delays in network transmission,which will inevitably result in the high-performance workers wasting computation.Consequently, the utilization of the cluster is relatively low. To alleviate thisissue, we propose the Dynamic Batch Size (DBS) strategy for the distributedtraining of DNNs. Specifically, the performance of each worker is evaluatedfirst based on the fact in the previous epoch, and then the batch size and datasetpartition are dynamically adjusted in consideration of the current performanceof the worker, thereby improving the utilization of the cluster. To verify theeffectiveness of the proposed strategy, extensive experiments have been conducted,and the experimental results indicate that the proposed strategy can fully utilizethe performance of the cluster, reduce the training time, and have good robustnesswith disturbance by irrelevant tasks. Furthermore, rigorous theoretical analysis hasalso been provided to prove the convergence of the proposed strategy.

연구 동기 및 목표

• 워커 간 성능 이질성으로 인한 동기 분산 DNN 학습의 비효율성을 해결하기 위해.
• 워커 성능에 기반해 배치 크기와 데이터셋 분할을 동적으로 조정하여 유휴 시간을 줄이고 클러스터 활용도를 향상시키기 위해.
• 시스템 수준의 장애(예: 배경 작업)에 대해 강건성을 향상시키면서도 학습 수렴성을 유지하기 위해.
• 고정 배치 크기 동기 학습 방법(예: S-SGD)에 대한 이론적으로 탄탄한 실용적 대안을 제공하기 위해.

제안 방법

• 각 학습 에포크의 끝에서 이전 에포크의 GPU 시간과 부분 데이터셋 크기를 사용해 워커 성능을 평가한다.
• 평가된 성능에 기반해 다음 에포크에서 배치 크기와 데이터셋 분할을 동적으로 조정하여 계산 부하를 균형 잡는다.
• 동기 학습 프레임워크 내에서 작동하므로, 수렴 보장을 유지하면서도 유휴 대기 시간을 제거한다.
• 학습 에포크 전반에 걸쳐 반복적으로 적용되어 학습 과정 내내 부하 균형을 유지한다.
• 기존의 동기 학습 프레임워크(예: S-SGD 및 모델 평균화)와 호환되며 최적화 알고리즘에 대한 수정이 필요 없다.
• 제안된 동적 배치 크기 전략 하에서 수렴을 증명하기 위한 이론적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 워커 성능에 기반한 동적 배치 크기 조정이 분산 DNN 학습에서 유휴 시간을 줄이고 클러스터 활용도를 향상시킬 수 있는가?
• RQ2 제안된 DBS 전략은 고정 배치 크기 동기 학습(S-SGD 등)과 비교해 학습 시간과 수렴 성능 측면에서 어떻게 다른가?
• RQ3 배경 작업과 같은 시스템 장애 상황에서 DBS는 얼마나 잘 성능을 유지하는가?
• RQ4 배치 크기와 데이터 분할의 동적 조정이 표준 동기 방법과 비교해 모델 수렴성을 유지하는가?

주요 결과

• DBS는 고정 배치 크기의 S-SGD와 비교해 4워커 클러스터에서 학습 시간을 약 12% 감소시킨다.
• 클러스터 규모가 증가할수록 성능 향상은 감소하며, 8워커에서는 10%로 떨어지고, 16워커에서는 동기화 및 통신 비용 증가로 인해 더 줄어든다.
• DBS는 시스템 장애 상황에서도 부하 균형을 유지한다: GPU 자원 급증 후 빠르게 워커 간 학습 시간을 균형 잡는다.
• 장애 상황에서 DBS의 전체 학습 시간 증가는 S-SGD보다 훨씬 적게 증가하여 뛰어난 내성성을 입증한다.
• DBS의 수렴 성능는 S-SGD와 거의 동일하여, 동적 배치 크기 조정이 학습 안정성에 영향을 주지 않는다는 것을 확인한다.
• 이론적 분석을 통해 DBS 전략이 동기 학습 조건 하에서 동적 배치 크기 가정 하에 수렴을 유지한다는 것을 확인한다.