[논문 리뷰] Distributed Training Large-Scale Deep Architectures

Shang-Xuan Zou, Chun-Yen Chen외 7명|arXiv (Cornell University)|2017. 08. 10.

Advanced Neural Network Applications참고 문헌 36인용 수 9

한 줄 요약

이 논문은 대규모 딥러닝 학습을 가속화하기 위해 분산 GPU 및 파rameter 서버 자원을 효과적으로 구성함으로써 시스템 수준의 가이드라인을 제시한다. 데이터 병렬 처리에서의 병목 현상 분석과 애멀드의 법칙 적용을 통해, 미니배치 크기, GPU 수, 파라미터 서버 수를 최적화하는 공식을 유도하였으며, AlexNet 및 ResNet과 같은 실제 모델에서 실질적인 속도 향상을 달성하였다.

ABSTRACT

Scale of data and scale of computation infrastructures together enable the current deep learning renaissance. However, training large-scale deep architectures demands both algorithmic improvement and careful system configuration. In this paper, we focus on employing the system approach to speed up large-scale training. Via lessons learned from our routine benchmarking effort, we first identify bottlenecks and overheads that hinter data parallelism. We then devise guidelines that help practitioners to configure an effective system and fine-tune parameters to achieve desired speedup. Specifically, we develop a procedure for setting minibatch size and choosing computation algorithms. We also derive lemmas for determining the quantity of key components such as the number of GPUs and parameter servers. Experiments and examples show that these guidelines help effectively speed up large-scale deep learning training.

연구 동기 및 목표

• 분산 딥러닝 학습에서 데이터 병렬 처리를 저해하는 주요 시스템 수준의 병목 현상과 I/O 오버헤드를 규명한다.
• 데이터셋 크기, 하드웨어 제약 조건, 모델 특성에 기반한 실용적이고 데이터 기반의 가이드라인을 제공하여 고성능 분산 학습 시스템을 구성한다.
• 최적의 GPU 수와 파라미터 서버 수를 결정하기 위한 분석 공식을 유도하여 학습 속도 향상을 극대화한다.
• 미니배치 크기 및 네트워크 대역폭과 같은 핵심 시스템 파라미터를 조정하여 비용 효율적이고 고활용도의 학습을 가능하게 한다.

제안 방법

• 저자들은 단일 GPU, 다중 GPU, 분산 구성에서의 벤치마킹을 통해 딥러닝 프레임워크의 계산 및 통신 병목 현상을 분석한다.
• 비병렬화 가능한 구성 요소로 인한 속도 향상 한계를 모델링하기 위해 애멀드의 법칙을 적용하여, 병렬화 가능 비율과 GPU 수에 따라 이론적 속도 향상도를 함수로 유도한다.
• 핵심 공식 유도: α = (1 + R_O) / (1 + G × R_O), 여기서 α는 달성 가능한 속도 향상 비율, G는 GPU 수, R_O는 오버헤드 비율이다.
• 통신 및 계산 시간의 균형을 고려한 파라미터 서버 수(N_ps)에 대한 근사 계산을 제안하며, 레마 3.2가 이론적 기반을 제공한다.
• 세 가지 시스템 수준의 권고 사항을 도입: I/O를 마스킹하기 위해 계산 시간(T_C)을 증가시키고, 네트워크 대역폭(B_ps)을 향상시키며, 장치 간 워크로드를 균형 있게 분배하여 I/O 병목 현상을 방지한다.
• 실용적인 튜닝 전략 포함: GPU 메모리 한계 내에서 미니배치 크기를 증가시키고, 통신 지연을 줄이기 위해 고속 네트워킹을 사용한다.

실험 결과

연구 질문

• RQ1 대규모 딥러닝을 위한 분산 데이터 병렬 처리에서 속도 향상을 제한하는 주요 시스템 수준의 병목 현상은 무엇인가?
• RQ2 실무자들이 최적의 미니배치 크기와 GPU 수를 어떻게 설정하여 GPU 활용도와 학습 스루풋을 극대화할 수 있는가?
• RQ3 분산 학습에서 통신 오버헤드를 최소화하기 위해 필요한 파라미터 서버 수(N_ps)에 대한 이론적 및 실용적 공식은 무엇인가?
• RQ4 I/O 오버헤드와 통신 병목 현상은 학습 성능에 어떤 영향을 미치며, 이를 완화하기 위한 시스템 수준의 구성은 무엇인가?

주요 결과

• 저자들은 애멀드의 법칙에 기반한 이론적 속도 향상 공식을 유도하였으며, 통신 및 I/O와 같은 비병렬화 가능한 구성 요소가 많은 GPU를 사용하더라도 확장성을 제한함을 보여준다.
• 계산 시간(T_C)을 오버헤드(T_O) 대비 증가시키면 속도 향상이 향상되며, 이를 위해 I/O를 마스킹하고 수많은 파라미터 업데이트를 줄이기 위해 더 큰 미니배치를 권장한다.
• 연구 결과 네트워크 대역폭이 핵심 병목임을 확인하였다. 예를 들어, AlexNet의 180MB 파라미터 업데이트는 1Gbps 이더넷의 용량을 초과하므로 고속 네트워킹이 필요하다.
• 작업 분포가 균일하지 않을 경우 이론적 최소값을 초월해 더 많은 파라미터 서버를 배포하여 I/O 오버헤드를 마스킹하고 시스템 활용도를 향상시킬 것을 권장한다.
• 실험 결과 제안된 가이드라인을 따를 경우, 배치 크기 및 네트워크 대역폭과 같은 시스템 파라미터를 적절히 튜닝했을 때 훈련 시간에 명확한 속도 향상이 관찰된다.
• 파라미터 서버 수(N_ps)에 대한 유도된 공식은 계산 시간 대비 통신 시간을 최소화하여 확장 가능한 분산 학습을 가능하게 한다.