[논문 리뷰] ImageNet/ResNet-50 Training in 224 Seconds.

Hiroaki Mikami, Hisahiro Suganuma외 3명|arXiv (Cornell University)|2018. 11. 13.

Advanced Neural Network Applications참고 문헌 5인용 수 57

한 줄 요약

이 논문은 대규모 GPU 클러스터를 활용하여 배치 크기 제어와 레이블 스무딩을 조합하여 대규모 미니배치 학습을 안정화시키고, 2D-Torus all-reduce를 통해 기울기 동기화 오버헤드를 최소화함으로써 ImageNet/ResNet-50를 단 122초 만에 훈련시키는 방법을 제시한다. 이 방법은 최소한의 정확도 손실로 최신 기술 수준에 가까운 정확도를 달성하여 대규모에서의 고효율 분산 훈련을 입증한다.

ABSTRACT

Scaling the distributed deep learning to a massive GPU cluster level is challenging due to the instability of the large mini-batch training and the overhead of the gradient synchronization. We address the instability of the large mini-batch training with batch-size control and label smoothing. We address the overhead of the gradient synchronization with 2D-Torus all-reduce. Specifically, 2D-Torus all-reduce arranges GPUs in a logical 2D grid and performs a series of collective operation in different orientations. These two techniques are implemented with Neural Network Libraries (NNL). We have successfully trained ImageNet/ResNet-50 in 122 seconds without significant accuracy loss on ABCI cluster.

연구 동기 및 목표

• ResNet-50와 같은 딥 러닝 모델의 대규모 미니배치 훈련에서 내재된 불안정성 문제를 해결하기 위해.
• 거대한 GPU 클러스터에서 분산 훈련 시 기울기 동기화 오버헤드를 줄이기 위해.
• 모델 정확도를 유지하면서 ImageNet/ResNet-50의 엔드 투 엔드 훈련을 2분 이내로 수행하기 위해.
• 최적화된 집합 통신 및 훈련 기법을 활용하여 확장 가능하고 안정적인 훈련을 구현하기 위해.

제안 방법

• 대규모 미니배치를 사용할 경우 발생하는 최적화 불안정성을 완화하기 위해 배치 크기 제어 기법을 적용하여 훈련을 안정화시킨다.
• 대규모 미니배치 환경에서 일반화 성능 향상과 과적합 감소를 위해 레이블 스무딩을 사용한다.
• GPU를 논리적 2차원 격자로 구성하여 효율적이고 저지연의 기울기 동기화를 수행하는 2D-Torus all-reduce를 적용한다.
• 다중 방향으로의 집합 연산을 수행함으로써 통신 병목 현상을 줄이기 위해 2D-Torus all-reduce를 활용한다.
• 제안된 기법들을 훈련 파이프라인에 구현하고 통합하기 위해 신경망 라이브러리(NNL)를 사용한다.
• 성능 및 정확도를 검증하기 위해 시스템을 ABCI GPU 클러스터에 구축하고 평가한다.

실험 결과

연구 질문

• RQ1 대규모 미니배치 훈련을 정확도 손실 없이 효과적으로 안정화시킬 수 있는가?
• RQ2 대규모 분산 훈련 환경에서 기울기 동기화 오버헤드를 어떻게 최소화할 수 있는가?
• RQ3 최적화된 통신 및 훈련 기법을 사용할 경우 ImageNet/ResNet-50의 훈련 시간은 어느 정도로 도달할 수 있는가?
• RQ4 정확도 경쟁력 유지 조건에서 훈련 속도는 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 방법을 사용하여 ABCI GPU 클러스터에서 ImageNet/ResNet-50를 122초 만에 성공적으로 훈련시켰다.
• 표준 훈련 대비 최소한의 정확도 손실로 최신 기술 수준에 가까운 정확도를 달성했다.
• 배치 크기 제어와 레이블 스무딩의 조합이 대규모 미니배치 훈련의 안정성을 효과적으로 향상시켰다.
• 2D-Torus all-reduce 통신 패턴이 동기화 오버헤드를 크게 감소시켰다.