[논문 리뷰] Staleness-aware Async-SGD for Distributed Deep Learning

Wei Zhang, Suyog Gupta외 2명|arXiv (Cornell University)|2015. 11. 18.

Advanced Neural Network Applications참고 문헌 16인용 수 58

한 줄 요약

이 논문은 수렴 속도가 동기화 SGD(SSGD)와 동일한 속도로 수렴하도록 보장하면서, 기울기의 오래됨(staleness)에 따라 학습률을 동적으로 조정하는 지연 인지 비동기 SGD(Async-SGD) 알고리즘을 제안한다. 이 방법은 CIFAR10 및 ImageNet 벤치마크에서 SSGD 수준의 모델 정확도를 유지하면서도, 높은 지연 조건에서도 거의 선형적 속도 향상을 달성한다. 이는 이론적으로 O(1/√T) 수렴을 보장하고 다양한 분산 환경에서의 강인성을 실험적으로 검증함으로써 가능해진다.

ABSTRACT

Deep neural networks have been shown to achieve state-of-the-art performance in several machine learning tasks. Stochastic Gradient Descent (SGD) is the preferred optimization algorithm for training these networks and asynchronous SGD (ASGD) has been widely adopted for accelerating the training of large-scale deep networks in a distributed computing environment. However, in practice it is quite challenging to tune the training hyperparameters (such as learning rate) when using ASGD so as achieve convergence and linear speedup, since the stability of the optimization algorithm is strongly influenced by the asynchronous nature of parameter updates. In this paper, we propose a variant of the ASGD algorithm in which the learning rate is modulated according to the gradient staleness and provide theoretical guarantees for convergence of this algorithm. Experimental verification is performed on commonly-used image classification benchmarks: CIFAR10 and Imagenet to demonstrate the superior effectiveness of the proposed approach, compared to SSGD (Synchronous SGD) and the conventional ASGD algorithm.

연구 동기 및 목표

• 분산 딥러닝에서 기울기의 오래됨으로 인한 기존 비동기 SGD의 불안정성과 열악한 수렴 문제를 해결하기 위해.
• 지연을 고려한 비동기 학습에서 학습률 조정을 체계적이고 이론적으로 기반한 방법을 개발하기 위해.
• 모델 정확도를 희생시키지 않고 분산 학습에서 거의 선형적 속도 향상을 가능하게 하며, SSGD 성능을 따라하기 위해.
• 지연에 기반해 학습률을 자동으로 조정함으로써 수동 하이퍼파rameter 튜닝의 필요성을 줄이기 위해.

제안 방법

• 각 기울기 업데이트의 지연 값에 따라 학습률을 나누는 지연에 의존하는 학습률 기반 방식을 도입한다.
• 최대 기울기 지연을 제어하고 경계하는 데 사용되는 n-소프트싱크 프로토콜을 활용하여 지연 수준을 세밀하게 조정할 수 있도록 한다.
• 이론적으로 제안된 알고리즘의 수렴 속도가 SSGD와 동일하며, 비볼록 최적화 하에서 O(1/√T) 수렴을 보임을 증명한다.
• 엄격한 지연 경계를 갖는 CPU 기반 HPC 클러스터를 사용하여 알고리즘을 구현하고 평가한다.
• CIFAR10 및 ImageNet 학습에서 학습률 조절 기반 방식을 적용하여 다양한 지연 수준에서도 일관된 성능을 유지한다.
• 학습자 수를 늘릴 때도 모델 정확도를 유지하기 위해 학습률 감소와 배치 크기 확장을 함께 적용한 모멘텀 가속 SGD를 사용한다.

실험 결과

연구 질문

• RQ1 기울기의 오래됨에 기반한 학습률 적응 전략이 비동기 SGD의 안정성을 높이고 동기화 SGD와 동일한 속도로 수렴하게 할 수 있는가?
• RQ2 기울기의 오래됨은 분산 딥러닝에서 모델 정확도와 수렴에 어떤 영향을 미치며, 이를 체계적으로 완화할 수 있는가?
• RQ3 지연 인지 학습률 기반 방식이 다양한 데이터셋과 모델 규모에서 거의 선형적 속도 향상을 달성하면서도 모델 정확도를 유지할 수 있는가?
• RQ4 제안된 방법이 분산 학습에서 수동 하이퍼파rameter 튜닝의 필요성을 줄이거나 제거할 수 있는가?

주요 결과

• 제안된 지연 인지 비동기 SGD는 모든 n-소프트싱크 프로토콜(n = 1에서 30까지)에서 CIFAR10에서 약 18%의 테스트 오차를 기록하며 단일 학습자 기준선과 동일한 성능을 달성하지만, 기존 비동기 SGD는 높은 지연 조건에서 수렴하지 못한다.
• ImageNet에서는 지연에 기반한 학습률 기반 방식이 모든 n-소프트싱크 프로토콜에서 일관된 상위-1 검증 오차(약 42.56%)를 유지하지만, 고정 학습률 케이스는 n = 9 및 n = 18일 때 수렴하지 못한다.
• 알고리즘은 CIFAR10에서 최대 30명의 학습자, ImageNet에서 최대 18명의 학습자까지 거의 선형적 속도 향상을 달성하면서도 SSGD 수준의 모델 정확도를 유지한다.
• 이론적 분석을 통해 제안된 방법의 수렴 속도가 O(1/√T)임을 확인하였으며, 이는 비볼록 최적화 하에서 SSGD의 최적 수렴 속도와 동일하다. 이는 다양한 지연 수준을 가진 비동기 업데이트 조건에서도 성립한다.
• 학습률이 기울기의 지연에 따라 자동으로 조정되므로, 분산 학습에서 수동 학습률 튜닝의 필요성이 효과적으로 제거된다.