[논문 리뷰] Multi-GPU Training of ConvNets

Omry Yadan, Keith Adams외 2명|arXiv (Cornell University)|2013. 12. 20.

Advanced Neural Network Applications참고 문헌 11인용 수 53

한 줄 요약

이 논문은 데이터 병렬성, 모델 병렬성, 그리고 그 조합된 하이브리드 방식을 사용하여 복소 신경망(ConvNets)의 다중 GPU 학습을 조사한다. 4개의 GPU에서 두 전략을 조합함으로써 저자들은 단일 GPU 학습 대비 2.2배의 속도 향상을 달성하였으며, ImageNet 분류에 대한 학습 시간을 크게 단축하면서도 수렴 안정성을 유지하였다.

ABSTRACT

In this work we evaluate different approaches to parallelize computation of convolutional neural networks across several GPUs.

연구 동기 및 목표

• 대규모 ConvNets의 긴 학습 시간 문제를 다중 GPU에 걸친 병렬화 전략을 탐색하여 해결한다.
• 통신 오버헤드와 하드웨어 활용도 측면에서 데이터 병렬성과 모델 병렬성 간의 상호 상충 관계를 조사한다.
• 기본 최적화 알고리즘을 수정하지 않고도 다중 GPU 환경에서 학습을 가속화하기 위한 최적의 구성 조건을 규명한다.
• 하이브리드 병렬성(데이터 + 모델)의 실현 가능성과 성능을 평가하여 GPU 활용도를 극대화하고 학습 시간을 최소화한다.

제안 방법

• 미니배치 크기를 256로 설정하여 다중 GPU에 걸쳐 분할함으로써 데이터 병렬성을 구현하며, 각 GPU는 샘플의 부분집합에 대해 기울기를 계산한다.
• 네트워크 아키텍처를 GPU 간에 분할하여 모델 병렬성을 구현하며, 예를 들어 Krizhevsky 등 [1]에서 제시한 바와 같이 필터나 레이어를 장치 간에 나누어 처리한다.
• 데이터와 모델 병렬성을 조합하여 4개의 GPU에 데이터 샘플과 네트워크 구성 요소를 분산 배치함으로써 부하 균형을 맞추고 통신 병목 현상을 줄인다.
• 표준 역전파 알고리즘을 사용하는 동기식 미니배치 확률적 경사하강법을 사용하여 병렬화의 영향을 최적화 방법의 변화와 분리한다.
• NVIDIA TITAN GPU(6GB 메모리)를 사용하여 ImageNet 2012 데이터셋에서 100 에포크 동안 학습 시간과 테스트 오차를 측정한다.
• PCIe를 통해 GPU 간 기울기와 모델 파라미터를 통신하여 단일 서버 환경에서의 분산 통신 오버헤드를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 다중 GPU 환경에서 데이터 병렬성과 모델 병렬성 간의 학습 속도와 통신 비용 측면에서의 성능 비교는 어떻게 되는가?
• RQ2 하이브리드 데이터 병렬성과 모델 병렬성이 각각의 전략보다 더 높은 성능을 낼 수 있는가?
• RQ3 다양한 병렬화 방식을 사용할 때, 4개의 GPU에서 대규모 ConvNet을 학습할 수 있는 최대 속도 향상은 얼마인가?
• RQ4 미니배치 크기 분포가 다중 GPU 학습에서 GPU 활용도와 수렴에 어떤 영향을 미치는가?
• RQ5 대규모 모델 학습 시 단일 GPU 메모리의 실질적 제약은 무엇이며, 다중 GPU 전략은 이를 어떻게 완화할 수 있는가?

주요 결과

• 4개의 GPU에서 데이터 병렬성과 모델 병렬성을 조합한 하이브리드 방식은 단일 GPU 학습 대비 2.2배의 속도 향상을 달성하여, 학습 시간을 10.5일에서 4.8일로 단축시켰다.
• 2개의 GPU에서 데이터 병렬성은 1.5배의 속도 향상을, 모델 병렬성은 1.6배의 속도 향상을 기록하여 이 설정에서는 모델 병렬성이 약간 더 효율적임을 시사한다.
• 순수한 데이터 병렬성으로 4개의 GPU를 사용한 경우 속도 향상은 단지 1.4배(7.2일)에 그쳐, 통신 오버헤드 증가로 인한 수익 감소 현상이 나타났다.
• 4개의 GPU에서 하이브리드 구성이 가장 빠른 수렴을 이룩하였으며, 그림 1에서 보듯이 시간이 지남에 따라 테스트 오차가 가장 빠르게 감소하였다.
• 64 미만의 미니배치 크기는 GPU 코어의 활용도를 저하시키며, 256 초과의 크기는 단일 GPU의 메모리 제약(6GB RAM)으로 인해 제한되므로, 256이 최적의 배치 크기임을 확인하였다.
• 통신 오버헤드는 특히 데이터 병렬성에서 성능에 큰 영향을 미치며, 모든 GPU에서 매 업데이트 단계마다 기울기와 파라미터를 동기화해야 하기 때문이다.