[논문 리뷰] Scale out for large minibatch SGD: Residual network training on ImageNet-1K with improved accuracy and reduced time to train

Valeriu Codreanu, Damian Podareanu외 1명|arXiv (Cornell University)|2017. 11. 12.

Advanced Neural Network Applications참고 문헌 23인용 수 36

한 줄 요약

이 논문은 최대 104,000개의 x86 코어를 활용하여 ResNet-50을 ImageNet-1K에서 확장 가능하고 고효율적인 훈련 프레임워크를 제안하며, 28분 만에 77.5%의 top-1 정확도를 달성하고 90% 이상의 스케일링 효율을 확보한다. 모델 아키텍처를 수정하지 않고도 정확도를 향상시키기 위해 새로운 'Collapsed Ensemble' 기법을 도입한다.

ABSTRACT

For the past 5 years, the ILSVRC competition and the ImageNet dataset have attracted a lot of interest from the Computer Vision community, allowing for state-of-the-art accuracy to grow tremendously. This should be credited to the use of deep artificial neural network designs. As these became more complex, the storage, bandwidth, and compute requirements increased. This means that with a non-distributed approach, even when using the most high-density server available, the training process may take weeks, making it prohibitive. Furthermore, as datasets grow, the representation learning potential of deep networks grows as well by using more complex models. This synchronicity triggers a sharp increase in the computational requirements and motivates us to explore the scaling behaviour on petaflop scale supercomputers. In this paper we will describe the challenges and novel solutions needed in order to train ResNet-50 in this large scale environment. We demonstrate above 90\% scaling efficiency and a training time of 28 minutes using up to 104K x86 cores. This is supported by software tools from Intel's ecosystem. Moreover, we show that with regular 90 - 120 epoch train runs we can achieve a top-1 accuracy as high as 77\% for the unmodified ResNet-50 topology. We also introduce the novel Collapsed Ensemble (CE) technique that allows us to obtain a 77.5\% top-1 accuracy, similar to that of a ResNet-152, while training a unmodified ResNet-50 topology for the same fixed training budget. All ResNet-50 models as well as the scripts needed to replicate them will be posted shortly.

연구 동기 및 목표

• 딥 리소스 네트워크의 대규모 데이터셋(예: ImageNet-1K)에서의 훈련 시간을 단축시키되 정확도를 희생시키지 않는 것.
• 딥 러닝에서 대용량 배치 SGD와 관련된 일반화 갭과 수렴 문제를 해결하는 것.
• Intel 소프트웨어 스택과 x86 아키텍처를 활용해 페타플롭 수준의 HPC 시스템에서 고성능이고 확장 가능한 훈련을 가능하게 하는 것.
• 고정된 훈련 예산 내에서 모델 정확도를 향상시키는 기법을 개발하는 것, 특히 대용량 배치 훈련에 초점 맞춤.
• 최적화된 훈련 전략을 통해 최신 기술 수준의 정확도를 최소한의 아키텍처 변경으로 달성할 수 있음을 입증하는 것.

제안 방법

• 수천 개의 CPU 코어를 통해 데이터 병렬 처리를 실시하면서 최대 65,536까지의 매우 큰 글로벌 배치 크기를 활용하는 방식.
• 큰 로컬 및 글로벌 배치 크기에 적응하는 수정된 배치 정규화를 적용하여 훈련을 안정화시키는 방식.
• 수렴을 유지하기 위해 점진적인 웜업과 함께 선형적으로 확장된 학습률 스케줄을 적용하는 방식.
• 단일 훈련 실행에서 캡처한 스냅샷을 재사용하여 앙상블를 구성하는 새로운 'Collapsed Ensemble (CE)' 기법을 도입하는 방식.
• 최적화 안정성을 향상시키기 위해 사이클릭 및 SGDR 스케줄에 영감을 받은 가중치 감소 및 학습률 전략을 적용하는 방식.
• Intel Knights Landing 및 Skylake 시스템에서 효율적인 확장성을 확보하기 위해 Intel의 Caffe 배포판과 HPC 최적화 소프트웨어 스택을 활용하는 방식.

실험 결과

연구 질문

• RQ1 대용량 배치 SGD 훈련이 일반화 갭 없이 ImageNet-1K에서 높은 정확도를 달성할 수 있는가?
• RQ2 ResNet-50의 훈련 시간을 30분 이내로 단축하면서도 top-1 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 10만 개 이상의 x86 코어에서 90% 이상의 스케일링 효율을 달성하기 위해 어떤 훈련 기법이 필요한가?
• RQ4 단일 모델 정확도 77.5%를 ResNet-50 아키텍처와 고정된 훈련 예산만으로 달성할 수 있는가?
• RQ5 Collapsed Ensemble 기법이 ImageNet-1K에서 표준 앙상블 및 스냅샷 방법보다 얼마나 뛰어나게 성능을 높일 수 있는가?

주요 결과

• 저자들은 단일 ResNet-50 모델을 사용하여 Collapsed Ensemble 기법을 적용해 77.5%의 top-1 정확도를 달성했으며, 이는 ResNet-152의 성능과 동일한 수준이다.
• 최대 104,000개의 x86 코어에서 훈련 시간을 28분으로 단축했고, 스케일링 효율은 90%를 초과했다.
• 제안된 학습률 스케줄 및 훈련 기법 덕분에 75 에포크 후 76.5%의 top-1 정확도를 달성하면서 수렴이 가능했다.
• ImageNet-1K에서 5개 모델의 앙상블를 사용할 경우, Collapsed Ensemble 방법은 Huang 등이 제안한 스냅샷 앙상블 방법보다 성능이 뛰어났다.
• 이 프레임워크는 Intel Knights Landing 및 Skylake 아키텍처 모두에서 강력한 스케일링 효율을 보였으며, MareNostrum 4에서 76.5% 정확도를 달성하기 위한 예측 훈련 시간은 50분 이내였다.
• 모든 모델와 훈련 스크립트는 재현 가능성을 위해 IntelCaffe GitHub 리포지토리에 공개되었다.