[논문 리뷰] Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour

Priya Goyal, Piotr Dollár외 7명|arXiv (Cornell University)|2017. 06. 08.

Advanced Neural Network Applications참고 문헌 33인용 수 2,612

한 줄 요약

본 논문은 선형 학습률 스케일링 규칙과 점진적 워밍업을 적용한 대형 미니배치 SGD가 256개의 GPU에서 1시간 만에 ImageNet의 ResNet-50을 학습시키고, 작은 미니배치 학습과 유사한 정확도를 유지함을 보인다.

ABSTRACT

Deep learning thrives with large neural networks and large datasets. However, larger networks and larger datasets result in longer training times that impede research and development progress. Distributed synchronous SGD offers a potential solution to this problem by dividing SGD minibatches over a pool of parallel workers. Yet to make this scheme efficient, the per-worker workload must be large, which implies nontrivial growth in the SGD minibatch size. In this paper, we empirically show that on the ImageNet dataset large minibatches cause optimization difficulties, but when these are addressed the trained networks exhibit good generalization. Specifically, we show no loss of accuracy when training with large minibatch sizes up to 8192 images. To achieve this result, we adopt a hyper-parameter-free linear scaling rule for adjusting learning rates as a function of minibatch size and develop a new warmup scheme that overcomes optimization challenges early in training. With these simple techniques, our Caffe2-based system trains ResNet-50 with a minibatch size of 8192 on 256 GPUs in one hour, while matching small minibatch accuracy. Using commodity hardware, our implementation achieves ~90% scaling efficiency when moving from 8 to 256 GPUs. Our findings enable training visual recognition models on internet-scale data with high efficiency.

연구 동기 및 목표

• 다양한 미니배치 크기에 대해 하이퍼파라미터 튜닝 없이 효율적인 대규모 분산 학습을 동기화시키고 가능하게 하는 동기 부여와 구현.
• 올바르게 스케일링될 경우 ImageNet에서 8192까지의 대형 미니배치가 작은 미니배치의 정확도와 일치할 수 있음을 보임.
• 분산 SGD에 적용 가능한 실용적 기법들(학습률의 선형 스케일링, 워밍업, BN 처리)을 개발.
• 분산 SGD의 구현 가이드라인을 제공하고 분산 SGD에서의 미묘한 점/함정들을 강조.

제안 방법

• Linear Scaling Rule 제안: 학습률을 미니배치 크기 kn에 비례하도록 설정하고 다른 하이퍼파라미터는 고정.
• Gradual Warmup 도입: 초기화 후 대상 학습률로 점진적으로 올려 조기 학습의 안정화를 도모.
• Batch Normalization 효과 다루기: BN 통계를 고정된 per-worker 미니배치 크기 n=32로 취급하고, 손실 함수가 보존되도록 적절한 그룹의 워커들 간 BN을 계산하도록 함.
• 모델 파라미터 업데이트를 위한 allreduce를 서버 간에 pipeline으로 구현하여 통신과 계산을 겹치도록 자세히 설명.
• 하드웨어/소프트웨어 스택: 256 GPUs를 32대의 서버에 걸쳐 NCCL과 Gloo를 사용한 효율적인 allreduce로 구현하며, 서버 간 통신을 반으로 줄이거나 늘임.
• 구현의 미묘함 다루기: 가중치 감소(weight decay) 처리, 학습률 변경 시 모멘텀 보정, 그래디언트 집계 스케일링, 다중 워커 간 데이터 셔플링의 주의점.

실험 결과

연구 질문

• RQ1 매우 큰 미니배치 크기(최대 8192)가 작은 미니배치 학습에 비해 ImageNet 정확도를 유지할 수 있는가?
• RQ2 학습률에 대한 단순 선형 스케일링 규칙과 워밍업 전략이 하이퍼파라미터 튜닝 없이도 효율적이고 확장 가능한 분산 SGD를 가능하게 하는가?
• RQ3 BN 통계 및 분산 구현 세부사항이 미니배치 크기 확장 시 학습에 어떤 영향을 미치는가?
• RQ4 분산 SGD의 실용적 함정은 무엇이며 실제 시스템에서 이를 어떻게 완화할 수 있는가?
• RQ5 제안된 기법들이 ImageNet을 넘어 객체 감지/세분화 같은 다른 작업으로 일반화되는가?

주요 결과

• ResNet-50이 ImageNet에서 미니배치 크기 kn를 8k까지 확장해도 점진적 워밍업 및 선형 스케일링 규칙을 사용할 경우 작은 미니배치 기준과 거의 같은 Top-1 오차를 달성한다.
• k=256 GPUs 및 n=32인 환경에서 기준 학습률은 0.1 × kn/256 = 3.2이며, 점진적 워밍업은 검증 오차를 23.74% ± 0.09로 만들어 기준선 23.60% ± 0.12에 가깝다.
• 점진적 워밍업은 대형 미니배치에서의 최적화를 안정시키고, 약 20 에포크 이후에는 작은 미니배치 기준의 학습 곡선과 거의 일치하는 경향을 보인다.
• 8에서 256 GPUs로 이동할 때 약 90%의 스케일링 효율로 256 GPU에서 1시간에 ResNet-50을 학습한다.
• 제안된 전략으로 대형 미니배치 학습이 객체 탐지/세분화(Mask R-CNN 등)와 같은 더 복잡한 작업으로도 일반화되며 전이 성능의 손실이 없다.
• 근사 선형 스케일링과 올바른 최적화를 달성하기 위해 가중치 감소, 모멘텀 보정, 그래디언트 집계, BN 처리, 데이터 셔플링 등 구현상의 일련의 주의점이 중요하다.