[논문 리뷰] Asynchronous Stochastic Gradient Descent with Delay Compensation for Distributed Deep Learning.

Shuxin Zheng, Qi Meng외 5명|arXiv (Cornell University)|2016. 09. 27.

Advanced Neural Network Applications참고 문헌 18인용 수 27

한 줄 요약

이 논문은 분산 딥러닝에서의 그래디언트 지연을 보정하기 위해 테일러 전개와 헤시안 근사치를 사용하는 새로운 이방식의 비동기적 확률적 경사하강법인 지연 보정 비동기적 경사하강법(DC-ASGD)을 제안한다. 이 방법은 수렴성과 성능을 크게 향상시켜 동기화 및 표준 비동기적 SGD를 모두 능가하며, CIFAR-10과 ImageNet에서 순차적 SGD의 정확도에 가까워진다.

ABSTRACT

With the fast development of deep learning, it has become common to learn big neural networks using massive training data. Asynchronous Stochastic Gradient Descent (ASGD) is widely adopted to fulfill this task for its efficiency, which is, however, known to suffer from the problem of delayed gradients. That is, when a local worker adds its gradient to the global model, the global model may have been updated by other workers and this gradient becomes delayed. We propose a novel technology to compensate this delay, so as to make the optimization behavior of ASGD closer to that of sequential SGD. This is achieved by leveraging Taylor expansion of the gradient function and efficient approximation to the Hessian matrix of the loss function. We call the new algorithm Delay Compensated ASGD (DC-ASGD). We evaluated the proposed algorithm on CIFAR-10 and ImageNet datasets, and the experimental results demonstrate that DC-ASGD outperforms both synchronous SGD and asynchronous SGD, and nearly approaches the performance of sequential SGD.

연구 동기 및 목표

• 분산 학습에서 모델 업데이트로 인한 그래디언트 지연으로 인해 발생하는 비동기적 경사하강법(ASGD)의 성능 저하 문제를 해결하기 위해.
• 그래디언트 지연을 보정하여 대규모 딥러닝에서 최적화의 안정성과 수렴 속도를 향상시키기 위해.
• 분산 학습 환경에서 비동기적 SGD와 순차적 SGD 간의 성능 격차를 해소하기 위해.
• 빠른 비동기 업데이트의 속도를 유지하면서도 높은 학습 정확도를 유지할 수 있는 효율적이고 확장 가능한 방법을 개발하기 위해.

제안 방법

• 모델 업데이트로 인한 그래디언트 변화를 모델링하기 위해 그래디언트 함수의 테일러 전개를 적용한다.
• 손실 함수의 헤시안 행렬을 근사하여 곡률를 추정하고 지연된 그래디언트를 보정한다.
• 추정된 헤시안과 시간 지연 정보를 사용하여 그래디언트 업데이트를 조정함으로써 그래디언트 지연 보정을 수행한다.
• 계산 효율성을 유지하기 위해 보정 메커니즘을 ASGD 프레임워크에 통합한다.
• 경량적이고 확장 가능한 설계를 통해 대규모 딥러닝 워크로드에 적합하도록 한다.

실험 결과

연구 질문

• RQ1 그래디언트 지연 보정이 분산 딥러닝에서 비동기적 SGD의 수렴성과 정확도를 향상시킬 수 있는가?
• RQ2 제안된 지연 보정 방법은 동기화 및 표준 비동기적 SGD에 비해 학습 성능에서 어떻게 비교되는가?
• RQ3 이 방법은 분산 환경에서 순차적 SGD의 성능에 얼마나 가까이 접근할 수 있는가?
• RQ4 헤시안 근사치는 다양한 데이터셋에서 그래디언트 지연 효과를 얼마나 정확하게 모델링하는가?

주요 결과

• DC-ASGD는 CIFAR-10 및 ImageNet 데이터셋에서 동기화 SGD와 표준 비동기적 SGD를 모두 능가한다.
• 메서드는 순차적 SGD의 정확도에 매우 가까운 테스트 정확도를 달성하여 표준 ASGD에서 관찰되는 성능 격차를 크게 줄였다.
• 실험 결과, 효과적인 지연 보정으로 인해 수렴 안정성이 향상되고 학습 진행 속도가 빨라지는 것으로 나타났다.
• 헤시안 근사치의 사용으로 인해 금지적인 계산 부담 없이도 정확한 그래디언트 보정이 가능했다.