[논문 리뷰] Taming Momentum in a Distributed Asynchronous Environment

Ido Hakimi, Saar Barkai외 2명|arXiv (Cornell University)|2019. 07. 26.

Stochastic Gradient Optimization Techniques참고 문헌 67인용 수 13

한 줄 요약

이 논문은 DANA를 제안하며, 이는 분산 학습에서 그래디언트 노후화 문제를 완화하기 위해 미래의 파라미터 위치를 추정하여 그래디언트를 계산하는 비동기적 SGD의 새로운 방법이다. 이로 인해 정확도를 희생시키지 않은 채 완전한 모멘텀 통합이 가능해진다. DANA는 총 배치 크기가 16K인 64개의 워커까지 거의 완벽한 선형 스케일링을 달성하며, CIFAR-10과 ImageNet에서 수렴 속도와 최종 테스트 정확도 면에서 기존 방법들을 능가한다.

ABSTRACT

Although distributed computing can significantly reduce the training time of deep neural networks, scaling the training process while maintaining high efficiency and final accuracy is challenging. Distributed asynchronous training enjoys near-linear speedup, but asynchrony causes gradient staleness - the main difficulty in scaling stochastic gradient descent to large clusters. Momentum, which is often used to accelerate convergence and escape local minima, exacerbates the gradient staleness, thereby hindering convergence. We propose DANA: a novel technique for asynchronous distributed SGD with momentum that mitigates gradient staleness by computing the gradient on an estimated future position of the model's parameters. Thereby, we show for the first time that momentum can be fully incorporated in asynchronous training with almost no ramifications to final accuracy. Our evaluation on the CIFAR and ImageNet datasets shows that DANA outperforms existing methods, in both final accuracy and convergence speed while scaling up to a total batch size of 16K on 64 asynchronous workers.

연구 동기 및 목표

• 비동기 분산 SGD에서 발생하는 그래디언트 노후화 문제를 해결함으로써 수렴 성능과 최종 정확도를 떨어뜨리는 문제를 해결한다.
• 기존에는 노후화를 악화시켜 발산을 유도하므로 비동기 학습에서 모멘텀을 효과적으로 사용하는 데 어려움이 있었지만, 이를 완전히 활용할 수 있도록 한다.
• 높은 최종 모델 정확도를 유지하면서도 분산 학습에서 거의 선형적인 확장성을 달성한다.
• 모멘텀을 대규모 비동기 환경에서 효과적으로 사용할 수 있으며 성능을 저하시키지 않음을 입증한다.

제안 방법

• DANA는 Nesterov의 가속화된 경사 하강법을 비동기 분산 학습에 적응시켜, 그래디언트 계산을 위한 미래의 파라미터 위치를 추정한다.
• 모델 파라미터의 예측된 미래 상태에서 그래디언트를 계산함으로써 오래된 그래디언트의 영향을 줄인다.
• 추정된 미래 위치를 반영한 모멘텀 기반 업데이트 규칙을 사용하여 노후화의 영향을 상쇄한다.
• 기존의 파라미터 서버 아키텍처와 호환되며, DC-ASGD나 EASGD와 같은 다른 최적화 기법과도 조합할 수 있다.
• 모멘텀 계수 γ를 사용해 그래디언트의 이동 평균을 유지하지만, 지연 효과를 줄이기 위해 그래디언트 계산 지점을 조정한다.
• DANA-Slim은 성능을 유지하면서도 통신 오버헤드를 줄이는 경량 버전이다.

실험 결과

연구 질문

• RQ1 정확도를 떨어뜨리지 않고 비동기 분산 SGD 환경에서 모멘텀을 효과적으로 사용할 수 있는가?
• RQ2 고모멘텀을 사용하는 대규모 비동기 학습 환경에서 그래디언트 노후화 문제를 어떻게 완화할 수 있는가?
• RQ3 DANA는 64개의 비동기 워커에서 수렴 속도와 정확도 면에서 선형 스케일링을 달성할 수 있는가?
• RQ4 예측된 미래 파라미터 위치에서 그래디언트를 계산하는 것이 학습의 안정성과 성능을 향상시키는가?
• RQ5 SSGD, Multi-ASGD, YellowFin과 같은 기존 방법들과 비교할 때 DANA는 최종 정확도와 수렴 속도 면에서 어떻게 성능을 내는가?

주요 결과

• DANA는 총 배치 크기가 16K인 64개의 비동기 워커까지 거의 완벽한 선형 스케일링을 달성하며, 높은 최종 정확도를 유지한다.
• ResNet-20을 사용한 CIFAR-10에서 DANA-Slim은 SSGD보다 25% 더 빠르게 학습되며 유사한 최종 테스트 오차를 달성한다.
• 대규모 배치 크기에서 DANA-Slim은 Multi-ASGD가 급격히 성능이 떨어지는 것과는 달리 SSGD를 초월하는 최종 정확도를 확보한다.
• Google 클라우드 환경에서 DANA-Slim은 20개의 워커까지 효과적으로 스케일링되며, 기준 모델보다 테스트 오차가 1% 미만 높을 뿐이다.
• 모든 평가 설정에서 DANA는 Multi-ASGD, SSGD, YellowFin보다 수렴 속도와 최종 테스트 오차 면에서 뛰어난 성능을 보인다.
• DANA는 발산 없이도 비동기 학습에서 고모멘텀(γ)을 완전히 활용할 수 있음을 입증하며, 이러한 환경에서 모멘텀을 효과적으로 통합할 수 있음을 보여준다.