[논문 리뷰] Large-Batch Training for LSTM and Beyond

Yang You, Jonathan Hseu외 4명|arXiv (Cornell University)|2019. 01. 24.

Advanced Neural Network Applications참고 문헌 27인용 수 12

한 줄 요약

이 논문은 이론적으로 타당한 Sqrt Scaling 학습률 기반으로 LSTM 및 CNN 모델에 대한 효과적인 대용량 배치 학습을 가능하게 하는 자동 초파rameter 튜닝 방법인 Linear-Epoch Gradual-Warmup(LEGW)을 소개한다. LEGW는 수동 튜닝 없이 배치 크기를 32K까지 확장해도 정확도를 유지하면서 LSTM 작업에서 평균 5.3배의 속도 향상을 달성한다.

ABSTRACT

Large-batch training approaches have enabled researchers to utilize large-scale distributed processing and greatly accelerate deep-neural net (DNN) training. For example, by scaling the batch size from 256 to 32K, researchers have been able to reduce the training time of ResNet50 on ImageNet from 29 hours to 2.2 minutes (Ying et al., 2018). In this paper, we propose a new approach called linear-epoch gradual-warmup (LEGW) for better large-batch training. With LEGW, we are able to conduct large-batch training for both CNNs and RNNs with the Sqrt Scaling scheme. LEGW enables Sqrt Scaling scheme to be useful in practice and as a result we achieve much better results than the Linear Scaling learning rate scheme. For LSTM applications, we are able to scale the batch size by a factor of 64 without losing accuracy and without tuning the hyper-parameters. For CNN applications, LEGW is able to achieve the same accuracy even as we scale the batch size to 32K. LEGW works better than previous large-batch auto-tuning techniques. LEGW achieves a 5.3X average speedup over the baselines for four LSTM-based applications on the same hardware. We also provide some theoretical explanations for LEGW.

연구 동기 및 목표

• LSTM와 같은 RNN 모델의 광범위한 사용에도 불구하고 대용량 배치 학습 기법이 효과적으로 부족한 문제를 해결한다.
• CNN에서 배치 크기를 8K를 초과해 확장할 경우 광범위한 초파rameter 튜닝이 필요하지 않도록 극복한다.
• 이론적인 Sqrt Scaling과 실용적인 대용량 배치 학습 사이의 격차를 메운다. 이는 이전에 제한된 성공을 보였다.
• 다양한 아키텍처에서 모델 정확도를 유지하면서 최대한의 학습 속도를 달성하는 자동화되고 강건한 방법을 개발한다.
• RNN 및 CNN 워크로드 전반에서 LEGW의 효과를 입증하며 일관된 성능 향상을 보인다.

제안 방법

• 배치 크기의 제곱근에 비례하여 학습률을 조정하는 학습률 웜업 전략인 Linear-Epoch Gradual-Warmup(LEGW)을 제안한다.
• 이론적으로 이전 연구에서 지지된 바와 같이 기울기 분산 안정성을 유지하기 위해 Sqrt Scaling을 적용한다.
• 고정된 에포크 수 동안 선형 증가하는 웜업 스케줄을 사용하며, 웜업 기간은 배치 크기의 역수에 비례한다.
• CNN의 경우 LARS와 같은 기존 최적화기와 RNN의 경우 표준 SGD와의 통합을 통해 호환성과 성능을 보장한다.
• 수동 튜닝 없이 배치 크기에 기반해 학습률과 웜업 기간을 자동으로 결정한다.
• GNMT(LSTM), PTB(LSTM), ImageNet과 ResNet50(CNN)을 포함한 여러 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 Sqrt Scaling이 RNN 및 CNN의 대용량 배치 학습에 실질적으로 효과적으로 적용될 수 있는가?
• RQ2 배치 크기를 8K를 초과해 확장할 경우 LEGW가 수동 초파rameter 튜닝의 필요성을 제거하는가?
• RQ3 정확도와 속도 측면에서 LEGW는 선형 스케일링 및 기타 자동 튜닝 방법과 비교해 어떻게 성과를 내는가?
• RQ4 LSTM 및 CNN 모델의 배치 크기를 32K까지 확장해도 LEGW가 모델 정확도를 유지할 수 있는가?
• RQ5 LEGW가 대용량 배치 크기에서 학습을 안정화하는 데 효과적인 이론적 근거는 무엇인가?

주요 결과

• GNMT(LSTM)에서 LEGW는 배치 크기를 256에서 4096으로 확장해도 수동 튜닝 없이 BLEU 점수 22.2를 유지한다.
• PTB(LSTM)에서 LEGW는 정확도 저하 없이 배치 크기를 8192(32배 증가)로 확장해 성능을 유지하며 수동 튜닝 없이도 성능을 유지한다.
• ResNet50을 사용한 ImageNet에서 LEGW는 배치 크기가 32,768일 때 93.18%의 상위-5 정확도를 달성하며, 튜닝 없이도 벤치마크 기준 수준을 유지한다.
• 동일한 TPU-v2 하드웨어에서 네 개의 LSTM 기반 응용 프로그램에 대해 LEGW는 기준선 대비 평균 5.3배의 속도 향상을 달성한다.
• LEGW는 이전의 자동 튜닝 기법과 선형 스케일링 기반 방법을 능가하며, 극한의 배치 크기에서도 더 높은 정확도를 유지한다.
• 이 방법은 다양한 모델에서 일관된 성능을 보이며, RNN 및 CNN 환경 모두에서 강건성을 입증한다.