[논문 리뷰] Model Accuracy and Runtime Tradeoff in Distributed Deep Learning

Suyog Gupta, Wei Zhang외 1명|arXiv (Cornell University)|2015. 09. 14.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 16

한 줄 요약

Rudra는 지연 시간을 제한하는 동기화 프로토콜과 적응형 학습률 조절을 도입하여 분산 딥 러닝을 최적화하는 파라미터 서버 프레임워크이다. 이로 인해 높은 모델 정확도를 유지하면서도 더 빠른 훈련을 가능하게 한다. 실험 결과, 더 많은 학습자(learner)를 추가함에 따라 각 학습자당 미니배치 크기를 줄일 경우, CIFAR10과 ImageNet에서 정확도를 유지하면서 런타임 성능을 향상시킬 수 있다.

ABSTRACT

This paper presents Rudra, a parameter server based distributed computing framework tuned for training large-scale deep neural networks. Using variants of the asynchronous stochastic gradient descent algorithm we study the impact of synchronization protocol, stale gradient updates, minibatch size, learning rates, and number of learners on runtime performance and model accuracy. We introduce a new learning rate modulation strategy to counter the effect of stale gradients and propose a new synchronization protocol that can effectively bound the staleness in gradients, improve runtime performance and achieve good model accuracy. Our empirical investigation reveals a principled approach for distributed training of neural networks: the mini-batch size per learner should be reduced as more learners are added to the system to preserve the model accuracy. We validate this approach using commonly-used image classification benchmarks: CIFAR10 and ImageNet.

연구 동기 및 목표

• 분산 딥 러닝 시스템에서 훈련 속도와 모델 정확도 사이의 상충 관계를 해결하기 위해.
• 동기화 프로토콜, 기울기 지연, 미니배치 크기, 학습률, 학습자 수가 성능과 정확도에 미치는 영향을 연구하기 위해.
• 지연된 기울기의 악영향을 완화하기 위한 새로운 학습률 조절 전략을 개발하기 위해.
• 기울기 지연을 제한하고 런타임 효율성을 향상시키는 동기화 프로토콜을 설계하기 위해.
• 학습자 수가 증가함에 따라도 모델 정확도를 유지할 수 있는 원칙적인 확장 전략을 수립하기 위해.

제안 방법

• Rudra는 다수의 학습자 간 이종적 확률적 경사하강법(ASGD)을 조율하기 위해 파라미터 서버 아키텍처를 사용한다.
• 기울기 업데이트의 지연 시간을 능동적으로 제한하여 발산을 방지하고 수렴을 향상시키는 새로운 동기화 프로토콜을 도입한다.
• 기울기 지연에 기반하여 학습률을 동적으로 조정하는 새로운 학습률 조절 전략을 제안하여 훈련의 안정성을 높인다.
• 미니배치 크기, 학습률, 학습자 수, 지연 임계값 등의 다수의 하이퍼파라미터 간의 상호 관계를 평가한다.
• 표준 이미지 분류 벤치마크를 사용하여 CIFAR10과 ImageNet에서 실험을 수행하여 접근 방식의 타당성을 검증한다.
• 학습자 수가 증가함에 따라 각 학습자당 미니배치 크기를 동적으로 조정하여 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 기울기 지연은 분산 딥 러닝에서 모델 정확도와 훈련 수렴에 어떤 영향을 미치는가?
• RQ2 학습자 수를 늘릴 경우 런타임 성능과 모델 정확도 사이의 최적의 상충 관계는 어떻게 되는가?
• RQ3 지연 시간을 제한하는 동기화 프로토콜은 훈련 속도와 모델 정확도를 모두 향상시킬 수 있는가?
• RQ4 학습자 수가 증가함에 따라 미니배치 크기를 어떻게 조정해야 모델 정확도를 유지할 수 있는가?
• RQ5 적응형 학습률 조절 전략은 지연된 기울기의 악영향을 효과적으로 보완하는가?

주요 결과

• 학습자 수가 증가함에 따라 각 학습자당 미니배치 크기를 줄일 경우, 높은 지연 시간이 존재하더라도 모델 정확도를 유지할 수 있다.
• 제안된 지연 시간 제한 동기화 프로토콜은 CIFAR10과 ImageNet에서 고정확도를 유지하면서도 런타임 성능을 향상시킨다.
• 적응형 학습률 조절 전략은 지연된 기울기로 인한 성능 저하를 효과적으로 완화한다.
• 실험 결과, 적절히 조정된 미니배치 크기를 유지할 경우, 더 많은 학습자를 효율적으로 사용할 수 있으며 정확도를 손상시키지 않는다.
• 기존의 표준 ASGD 설정 대비 최소한의 정확도 손실로 더 빠른 훈련 시간을 달성한다.
• 이 접근 방식은 다양한 시스템 규모에서 일관된 성능을 유지하는 확장 가능한 분산 훈련을 가능하게 한다.