[논문 리뷰] Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources

Haibin Lin, Hang Zhang외 5명|arXiv (Cornell University)|2019. 04. 26.

Advanced Neural Network Applications참고 문헌 44인용 수 14

한 줄 요약

이 논문은 유연한 분산 학습 환경에서 GPU 수가 동적으로 변할 경우 최적화를 안정화하기 위해 학습률을 부드럽게 조정하는 Dynamic SGD를 제안한다. 변화하는 미니배치 크기로 인한 확률적 모멘텀 추정의 노이즈를 보완함으로써, 이미지 분류, 객체 검출, 세그멘테이션 작업 전반에서 정적 학습과 비교해도 안정성과 모델 정확도를 확보한다. 8에서 128개의 GPU로의 스케일링 조건에서도 성능을 유지를 한다.

ABSTRACT

With an increasing demand for training powers for deep learning algorithms and the rapid growth of computation resources in data centers, it is desirable to dynamically schedule different distributed deep learning tasks to maximize resource utilization and reduce cost. In this process, different tasks may receive varying numbers of machines at different time, a setting we call elastic distributed training. Despite the recent successes in large mini-batch distributed training, these methods are rarely tested in elastic distributed training environments and suffer degraded performance in our experiments, when we adjust the learning rate linearly immediately with respect to the batch size. One difficulty we observe is that the noise in the stochastic momentum estimation is accumulated over time and will have delayed effects when the batch size changes. We therefore propose to smoothly adjust the learning rate over time to alleviate the influence of the noisy momentum estimation. Our experiments on image classification, object detection and semantic segmentation have demonstrated that our proposed Dynamic SGD method achieves stabilized performance when varying the number of GPUs from 8 to 128. We also provide theoretical understanding on the optimality of linear learning rate scheduling and the effects of stochastic momentum.

연구 동기 및 목표

• 학습 자원(GPU)이 학습 도중에 동적으로 할당되거나 해제될 경우 발생하는 딥러닝 최적화의 불안정성 문제를 해결하기 위해.
• 변동하는 배치 크기로 인한 확률적 모멘텀 추정의 고려되지 않은 노이즈로 인해 선형 학습률 스케일링이 동적 환경에서 실패함을 규명하기 위해.
• 학습률을 시간에 따라 더 부드럽게 조정함으로써 자원 할당이 동적으로 변화하는 환경에서 학습을 안정화시키는 방법을 개발하기 위해.
• 이러한 방법이 다양한 컴퓨터 비전 작업(이미지 분류, 객체 검출, 세그멘테이션 포함)에서 실험적으로 검증되도록 하기 위해.
• 선형 학습률 스케줄링의 최적성과 동적 학습 환경에서의 확률적 모멘텀의 영향에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 동적 배치 크기 변화 중 모멘텀 추정의 노이즈 누적을 상쇄하기 위해 시간에 따라 학습률을 점진적으로 조정하는 학습률 적응 전략인 Dynamic SGD를 제안한다.
• 기존의 선형 스케일링과는 달리, 미니배치 크기의 역수에 따라 모멘텀 노이즈가 감소함을 고려한 비선형적이고 부드러운 학습률 스케줄링을 도입한다.
• 학습률이 현재 GPU 수와 배치 크기 변화 이력에 따라 조정되는 동기화된 확률적 경사하강법과 모멘텀을 사용한다.
• 실제 유연한 학습 환경을 시뮬레이션하기 위해, 예를 들어 매 5 에포크마다 GPU 수를 변경하는 동적 스케줄링 정책을 적용한다.
• ResNet-50, MobileNet, InceptionV3, SSD, FCN 등의 표준 딥러닝 모델에 적용하였으며, 동기화 배치 정규화와 코사인 학습률 감쇠를 사용한다.
• 이론적 분석을 통해 선형 학습률 스케줄링의 최적성과 동적 환경에서 모멘텀 노이즈가 초래하는 불안정성의 원인을 설명한다.

실험 결과

연구 질문

• RQ1 GPU 수가 동적으로 변화할 경우, 왜 선형 학습률 스케일링이 동적 분산 학습 환경에서 실패하는가?
• RQ2 동적 배치 크기 적응 과정에서 확률적 모멘텀 추정의 노이즈가 모델 수렴에 어떤 영향을 미치는가?
• RQ3 시간에 따라 부드럽게 변화하는 학습률 조정이 유연한 분산 환경에서 학습을 안정화시킬 수 있는가?
• RQ4 Dynamic SGD는 다양한 비전 작업에서 정적 학습과 비교해 어느 정도의 정확도 성능을 달성할 수 있는가?
• RQ5 8에서 128개의 GPU로 다양하게 변화하는 환경에서, 제안된 방법이 선형 스케일링 및 정적 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• Dynamic SGD는 128개의 GPU로 확장되더라도, 모든 평가된 작업에서 1× 미니배치 크기(예: 1K)의 정적 학습과 비교해 유사한 모델 정확도를 달성한다.
• ImageNet에서, 8에서 128개의 GPU로 확장할 경우 Dynamic SGD는 정적 베이스라인(30.1% mAP)과 0.1% 이내의 정확도를 유지하지만, 선형 스케일링은 심각하게 성능 저하를 보인다.
• MS-COCO에서 Dynamic SGD는 12× 스케일일 때 30.1 mAP, 16× 스케일일 때 29.6 mAP를 기록하며, 선형 스케일링(16× 스케일에서 20.2 mAP)을 뛰어넘는다.
• 세그멘테이션 작업인 ADE20K에서 Dynamic SGD는 12× 스케일일 때 79.07% pixAcc와 39.34% mIoU를 기록하여 정적 베이스라인(78.99% pixAcc, 39.48% mIoU)과 유사한 성능을 내며, 선형 스케일링을 능가한다.
• 특히 동기화 배치 정규화를 사용하는 FCN 기반 모델에서, 대규모 미니배치에 대한 배치 정규화 통계 보정이 이루어지지 않더라도 학습이 안정화됨을 확인했다.
• 이론적 분석을 통해 모멘텀 노이즈가 미니배치 크기의 역수로 감소함을 확인하였으며, 이는 동적 환경에서 비선형 학습률 적응의 필요성을 정당화한다.