[논문 리뷰] Single Server Multi-GPU Training of ConvNets

Omry Yadan, Keith Adams외 2명|arXiv (Cornell University)|2013. 12. 20.

Advanced Neural Network Applications참고 문헌 6인용 수 1

한 줄 요약

이 논문은 단일 서버에서 다중 GPU를 활용한 컷널 신경망(ConvNets) 학습 프레임워크를 제안하며, 데이터 병렬 처리와 GPU 간 매개변수 평균화 및 기울기 동기화를 통해 높은 학습 효율성과 확장성을 달성한다. 단일 머신에서 다수의 GPU를 사용할 경우 통신 오버헤드가 최소화되어 거의 선형적인 속도 향상을 보인다.

ABSTRACT

In this work we evaluate different approaches to parallelize computation of convolutional neural networks across several GPUs.

연구 동기 및 목표

• 단일 서버에서 ConvNets의 효율적인 다중 GPU 학습을 통해 학습 시간을 단축시키기 위한 목적.
• 분산 학습에서 발생하는 통신 병목 현상을 해결하기 위해 매개변수 동기화를 최적화하기 위한 목적.
• 공유 메모리 환경에서 다수의 GPU 간 ConvNets에 대한 다양한 병렬 처리 전략을 평가하기 위한 목적.
• 단일 서버 환경에서 최소한의 오버헤드로 높은 학습 처리량과 확장성을 달성하기 위한 목적.

제안 방법

• 단일 서버 내 다수의 GPU에 걸쳐 미니배치를 분산 배포함으로써 데이터 병렬 처리를 구현.
• 각 순방향 및 역방향 전파 후에 GPU 간 매개변수 평균화를 수행하는 동기식 확률적 경사 하강법을 적용.
• 각 학습 반복의 끝에서만 기울기와 모델 매개변수를 동기화하여 통신 오버헤드를 최소화.
• 모델 업데이트를 GPU 간에 조율하기 위해 동일한 머신 내 공유 매개변수 서버를 활용.
• 학습 중 GPU 메모리 경쟁을 줄이기 위해 효율적인 메모리 관리 기법을 구현.
• 노드 간 통신 지연을 방지하기 위해 단일 노드, 다중 GPU 아키텍처를 사용.

실험 결과

연구 질문

• RQ1 단일 서버에서 다중 GPU 학습이 ConvNets의 학습 속도와 확장성에 미치는 영향은 무엇인가?
• RQ2 기울기 동기화 빈도가 학습 수렴과 효율성에 미치는 영향은 무엇인가?
• RQ3 다중 GPU ConvNet 학습에서 통신 오버헤드가 성능에 미치는 영향은 무엇인가?
• RQ4 데이터 병렬 처리가 단일 서버에서 다수의 GPU를 사용할 경우 거의 선형적인 속도 향상을 달성할 수 있는가?
• RQ5 다중 GPU 학습에서 모델 크기, 배치 크기, GPU 활용도 간 실질적인 상충 관계는 무엇인가?

주요 결과

• 제안된 방법은 단일 서버에서 GPU 수가 증가함에 따라 거의 선형적인 속도 향상을 달성한다.
• 학습 처리량이 GPU 수에 비례하여 효율적으로 증가하여 계산 자원의 높은 활용도를 보인다.
• 희소한 동기화로 인해 통신 오버헤드가 최소화되어 효율적인 다중 GPU 운영이 가능하다.
• 분산 계산에도 불구하고 모델 정확도가 단일 GPU 학습과 유사한 수준을 유지한다.
• 큰 규모의 ConvNet 학습을 다수의 GPU에서 최소한의 성능 저하로 지원할 수 있다.