[논문 리뷰] GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training

Thomas Paine, Hailin Jin외 3명|arXiv (Cornell University)|2013. 12. 21.

Advanced Neural Network Applications참고 문헌 14인용 수 67

한 줄 요약

이 논문은 대규모 합성곱 신경망의 학습을 가속화하기 위해 다수의 GPU를 통한 모델 병렬화와 비동기적 SGD를 조합한 하이브리드 접근 방식인 GPU 비동기적 확률적 경사하강법(GPU A-SGD)을 제안한다. 8개의 GPU를 사용할 때 ImageNet ILSVRC 2012 데이터셋에서 3.2배의 속도 향상을 달성하면서도 최신 기술 수준에 근접한 성능을 유지한다. 이는 빈번한 파라미터 동기화를 통한 비동기 업데이트가 정확도를 희생시키지 않고도 학습 시간을 크게 단축시킬 수 있음을 보여준다.

ABSTRACT

The ability to train large-scale neural networks has resulted in state-of-the-art performance in many areas of computer vision. These results have largely come from computational break throughs of two forms: model parallelism, e.g. GPU accelerated training, which has seen quick adoption in computer vision circles, and data parallelism, e.g. A-SGD, whose large scale has been used mostly in industry. We report early experiments with a system that makes use of both model parallelism and data parallelism, we call GPU A-SGD. We show using GPU A-SGD it is possible to speed up training of large convolutional neural networks useful for computer vision. We believe GPU A-SGD will make it possible to train larger networks on larger training sets in a reasonable amount of time.

연구 동기 및 목표

• GPU 기반 모델 병렬화와 비동기적 데이터 병렬화를 융합하여 대규모 신경망 학습을 가속화하기 위해.
• GPU A-SGD가 ImageNet ILSVRC 2012 벤치마크에서 대규모 합성곱 신경망의 학습 시간을 줄이는 데 효과적인지 평가하기 위해.
• 학습 수렴성과 오차율에 미치는 영향을 분석하기 위해 동기화 빈도($n_{\text{sync}}$)와 GPU 클라이언트 수의 변화를 조사하기 위해.
• 비동기 분산 학습에서 업데이트 빈도와 학습 안정성 간의 상충 관계를 탐색하기 위해.
• 워밍 스타트와 적응형 최적화 방법이 비동기 GPU 학습에서 성능 향상에 기여하는지 규명하기 위해.

제안 방법

• MPI를 사용한 프로세스 간 통신을 통해 중앙 파라미터 서버와 다수의 GPU 클라이언트가 통신하도록 cuda-convnet 프레임워크를 확장한다.
• 각 GPU 클라이언트가 미니배치에서 기울기를 독립적으로 계산하고 공유된 모델 파라미터를 비동기적으로 업데이트하는 비동기적 확률적 경사하강법(A-SGD)을 적용한다.
• 클라이언트가 서버에서 업데이트된 파라미터를 가져오고 기울기를 다시 전송하는 빈도를 제어하기 위해 동기화 간격 $n_{\text{sync}}$를 사용한다.
• 다양한 설정 간 비교를 명확히 하기 위해 학습 오차 곡선에 슬라이딩 윈도우 스무딩 기법(400개의 미니배치)을 적용한다.
• 초기 학습 동역학과 수렴 행동을 분석하기 위해 콜드 스타트 및 웜 스타트 학습 프로토콜을 모두 구현한다.
• 표준 딥러닝 구성 요소를 사용한다: ReLU 활성화 함수, 드롭아웃, 데이터 증강, 평가를 위한 멀티크롭 테스팅.

실험 결과

연구 질문

• RQ1 GPU A-SGD는 단일 GPU 학습 대비 대규모 합성곱 신경망 학습에서 상당한 속도 향상을 달성할 수 있는가?
• RQ2 GPU 클라이언트 수가 학습 속도와 최종 오차율에 미치는 영향은 무엇이며, 특히 초기 학습 단계에서 어떻게 나타나는가?
• RQ3 업데이트의 오래됨(Staleness)과 학습 효율성 사이를 균형 잡는 데 최적의 동기화 빈도($n_{\text{sync}}$)는 무엇인가?
• RQ4 웜 스타트가 고클라이언트 수 비동기 학습 환경에서 관찰된 초기 학습 저하 현상을 완화하는가?
• RQ5 수렴성과 오차 진행 상황 측면에서 콜드 스타트와 웜 스타트 설정 간 학습 동역학은 어떻게 다를까?

주요 결과

• 8개의 GPU를 사용할 때 GPU A-SGD는 ImageNet ILSVRC 2012 데이터셋에서 3.2배의 속도 향상을 달성하여 학습 시간을 10.6일에서 3.3일로 단축시키며 테스트 오차율 42.2%에 도달했다.
• 웜 스타트를 적용한 결과, $n_{\text{sync}} = 100$일 때 단일 GPU의 70%에서 8개 GPU의 58%로 학습 오차가 감소하여 병렬성 증가에 따른 뚜렷한 성능 향상을 보였다.
• 많은 수의 GPU 클라이언트로 초기 학습을 수행할 경우, 클라이언트 수가 적을 때보다 훨씬 느린 속도를 보였으며, 이는 초기 단계에서 기울기의 일관성이 떨어져 수렴 속도가 저하됨을 시사한다.
• 학습 후반부에서는 클라이언트 수가 많은 모델이 더 급격한 학습 곡선을 보였는데, 이는 시간이 지남에 따라 기울기 일관성이 향상되고 평균화 효과가 나타나기 때문으로 보인다.
• 높은 동기화 빈도($n_{\text{sync}} = 100$)는 처리한 총 미니배치 수가 적음에도 불구하고 낮은 최종 오차를 기록하여 빈번한 업데이트가 통신 오버헤드를 상쇄할 수 있음을 시사한다.
• 높은 $n_{\text{sync}}$ 값(예: 900)에서 오차 곡선에 격자무늬 무늬 아티팩트가 나타나는 것은 오래된 기울기가 안정성을 해칠 수 있으며 수렴을 방해할 수 있음을 시사한다.