[논문 리뷰] Accelerating Asynchronous Stochastic Gradient Descent for Neural Machine Translation

Nikolay Bogoychev, Marcin Junczys-Dowmunt외 2명|arXiv (Cornell University)|2018. 08. 27.

Advanced Neural Network Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 이질적 경사하강법(ASGD)의 속도를 향상시키기 위해 지연된 경사 업데이트를 도입하여 더 큰 유효 미니배치를 가능하게 하고, 지역 최적화기를 도입해 오래된 경사로 인한 수렴 문제를 완화한다. 적절한 운동량과 학습률 스케일링을 적용함으로써, 최적화된 기준 모델 대비 27% 빠른 학습을 달성하였으며, BLEU 점수 저하가 거의 없고 교차 엔트로피 손실이 향상되었다.

ABSTRACT

In order to extract the best possible performance from asynchronous stochastic gradient descent one must increase the mini-batch size and scale the learning rate accordingly. In order to achieve further speedup we introduce a technique that delays gradient updates effectively increasing the mini-batch size. Unfortunately with the increase of mini-batch size we worsen the stale gradient problem in asynchronous stochastic gradient descent (SGD) which makes the model convergence poor. We introduce local optimizers which mitigate the stale gradient problem and together with fine tuning our momentum we are able to train a shallow machine translation system 27% faster than an optimized baseline with negligible penalty in BLEU.

연구 동기 및 목표

• 큰 미니배치 크기와 오래된 경사로 인해 신경 기계 번역(NMT)에서 이질적 경사하강법의 수렴 속도가 느려지는 문제를 해결한다.
• 시퀀스 모델링 작업에서 미니배치 크기를 제한하는 GPU 메모리 제약을 극복한다.
• 학습률과 운동량 스케줄을 최적화하여 성능 저하 없이 학습 속도를 향상시킨다.
• 하드웨어에 종속되지 않고 확장 가능한 기법을 사용해 시퀀스-투-시퀀스 모델의 더 빠른 종단 간 학습을 가능하게 한다.
• 지연된 경사 업데이트와 지역 최적화기가 증가된 배치 크기와 감소한 통신 빈도에도 불구하고 수렴을 유지할 수 있음을 입증한다.

제안 방법

• 통신 전에 τ 반복 동안 경사를 누적시켜 지연된 경사 업데이트를 도입함으로써, GPU 메모리 한계를 초월한 더 큰 유효 미니배치 크기를 효과적으로 확보한다.
• 각 워커에 지역 최적화기를 구현하여 큰 유효 배치 크기로 인한 경사 오래됨의 영향을 줄인다.
• 큰 배치 크기에서의 학습 안정성을 높이기 위해 학습률 웜업 및 운동량 쿨다운 전략을 적용한다.
• 수렴 속도와 안정성의 균형을 이루기 위해 조정된 하이퍼파rameter를 가진 수정된 Adam 최적화기를 사용한다.
• 다수의 작은 배치를 로컬에서 합산하여 더 큰 배치를 모방함으로써, 통신 오버헤드를 줄이고 모델 업데이트 빈도를 유지한다.
• 고배치 크기 환경에서의 학습 동역학 안정화를 위해 기울기 클리핑과 운동량 적응을 적용한다.

실험 결과

연구 질문

• RQ1 지연된 경사 업데이트는 GPU 메모리 한계를 초과하지 않으면서 NMT에서 더 큰 유효 미니배치를 가능하게 할 수 있는가?
• RQ2 지연된 업데이트와 지역 최적화기의 조합이 시퀀스 모델의 이질적 경사하강법에서 수렴에 어떤 영향을 미치는가?
• RQ3 매우 큰 미니배치에서 수렴 속도를 유지하기 위해 최적의 학습률 및 운동량 스케줄은 무엇인가?
• RQ4 BLEU 점수나 교차 엔트로피 손실이 악화되지 않도록 하면서 학습 속도를 얼마나 향상시킬 수 있는가?
• RQ5 웜업 및 운동량 쿨다운 전략은 큰 배치 크기에서의 불안정성을 어떻게 완화하는가?

주요 결과

• 제안된 방법은 루마니아어-영어 번역을 위한 얕은 RNN 모델에서 최적화된 기준 모델 대비 27% 더 빠른 학습을 달성하였으며, BLEU 점수는 0.03 포인트만 감소하였다.
• 지연 업데이트에 τ = 4를 적용하면 초당 처리 단어 수가 40.2k에서 47.6k로 증가하여 학습 처리량이 크게 향상되었다.
• 유효 미니배치 크기가 네 배 증가했음에도 불구하고, 모델은 기준 모델보다 매 에포크당 더 낮은 교차 엔트로피 손실을 기록하여 최적화 안정성이 뛰어나다는 것을 보여주었다.
• 루마니아어-영어 작업에서 시스템은 기준 모델 대비 최고 BLEU 점수를 1.6배 더 빠르게 도달하여 수렴 효율성이 향상됨을 입증하였다.
• 영어-독일어 딥 RNN 모델에서, 이 방법은 기준 모델 대비 1.3배 더 빠른 학습 속도를 기록하였으며, 거의 동일한 BLEU 점수를 유지하면서 교차 엔트로피 손실이 향상되었다.
• 운동량 조정과 쿨다운 전략 적용은 큰 배치 크기에서 학습을 안정화시키는 데 핵심적이었으며, 단순한 학습률 스케일링보다 우수한 성능을 보였다.