[논문 리뷰] Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training

Youjie Li, Mingchao Yu외 4명|arXiv (Cornell University)|2018. 11. 08.

Advanced Neural Network Applications참고 문헌 48인용 수 18

한 줄 요약

Pipe-SGD는 분산 딥러닝 훈련에서 계산과 통신을 겹치는 분산형, 파ip라인형 SGD 프레임워크를 제안하며, 네 노드 GPU 클러스터(10GbE 링크)에서 통신과 지연 시간을 두 폭의 파이프라인으로 균형 잡고 지연 시간을 숨기면서까지도 벽시계 성능을 최대 5.4배 향상시켰다. 수렴성과 정확도를 유지한다.

ABSTRACT

Distributed training of deep nets is an important technique to address some of the present day computing challenges like memory consumption and computational demands. Classical distributed approaches, synchronous or asynchronous, are based on the parameter server architecture, i.e., worker nodes compute gradients which are communicated to the parameter server while updated parameters are returned. Recently, distributed training with AllReduce operations gained popularity as well. While many of those operations seem appealing, little is reported about wall-clock training time improvements. In this paper, we carefully analyze the AllReduce based setup, propose timing models which include network latency, bandwidth, cluster size and compute time, and demonstrate that a pipelined training with a width of two combines the best of both synchronous and asynchronous training. Specifically, for a setup consisting of a four-node GPU cluster we show wall-clock time training improvements of up to 5.4x compared to conventional approaches.

연구 동기 및 목표

• 계산 능력이 증가함에도 불구하고 통신 병목 현상으로 인해 증가하는 분산 딥러닝 훈련의 벽시계 훈련 시간을 해결하기 위해.
• 중앙 집중식 파rameter 서버와 AllReduce 기반 프레임워크의 한계를 극복하기 위해 통신 및 계산 지연을 숨기고, 분산형, 파이프라인형 훈련 시스템을 설계하기 위해.
• 네트워크 지연, 대역폭, 클러스터 크기, 계산 시간을 고려한 타이밍 모델을 개발하여 시스템 설계 및 확장성 분석을 안내하기 위해.
• 분산 환경에서 효율적이고 균형 잡힌 통신과 파이프라인을 통해 모델 정확도를 훼손하지 않고도 상당한 성능 향상을 달성하기 위해.
• 파이프라인 폭이 2인 경우 동기 및 异기 훈련의 최적의 특성을 결합하여 수렴성과 효율성 측면에서 최상의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 각 워커가 자체 모델을 유지하고 이웃 워커와만 기울기 정보를 교환하는 분산형 훈련 프레임워크를 설계하여 중앙 집중식 파rameter 서버를 제거하기 위해.
• 파이프라인 폭이 2인 파이프라인 훈련 프로세스를 구현하여, 워커가 한 미니배치에 대해 기울기를 계산하는 동안 이전 미니배치의 기울기를 통신할 수 있도록 하기 위해.
• 네트워크 지연, 대역폭, 모델 크기, 계산 시간을 포함한 타이밍 모델을 개발하여 벽시계 성능 트레이드오프를 분석하기 위해.
• 기존 연구 기반의 수정된 수렴 증명을 사용하여 제안된 파이프라인형, 분산형 환경에서 이론적 수렴 보장을 확립하기 위해.
• AllReduce 기반 통신 레이어에 효율적인 압축 기법을 통합하여 대역폭 사용량을 줄이되, 모델 정확도는 떨어지지 않도록 하기 위해.
• 각 워커의 통신 및 계산 단계를 동기화하여 유휴 시간을 최소화할 수 있도록 통신 부하를 균형 있게 분배하기 위해.

실험 결과

연구 질문

• RQ1 분산 딥러닝 훈련에서 분산형, 파이프라인형 SGD 프레임워크가 통신 및 계산 지연을 효과적으로 숨길 수 있는가?
• RQ2 실제 네트워크 및 하드웨어 제약 조건 하에서, 기존의 중심화된 및 분산형 접근 방식과 비교해 파이프라인형 프레임워크의 벽시계 훈련 시간은 어떻게 되는가?
• RQ3 분산 훈련 시스템에서 통신 오버헤드와 수렴 안정성을 균형 잡기 위한 최적의 파이프라인 폭은 무엇인가?
• RQ4 AllReduce 기반의 파이프라인 프레임워크에서 압축 기법을 얼마나 적용할 수 있으며, 모델 정확도나 수렴성에 악영향을 주지 않고서도 효율적으로 통합할 수 있는가?
• RQ5 클러스터 크기와 모델 복잡도가 증가함에 따라, 제안된 프레임워크는 훈련 속도 향상과 자원 활용도 측면에서 어떻게 확장되는가?

주요 결과

• Pipe-SGD는 10GbE 링크를 가진 네 노드 GPU 클러스터에서 기존의 중심화된 및 분산형 훈련 접근 방식 대비 최대 5.4배의 벽시계 성능 향상을 달성했다.
• ResNet-18 및 VGG-16와 같은 다양한 모델에서 일관된 성능 향상을 보였으며, 모델 및 클러스터 구성에 따라 3.2배에서 5.4배의 향상이 있었다.
• 파이프라인 폭이 2인 경우 계산 또는 통신 중 느린 쪽을 효과적으로 숨기며, 유휴 시간을 줄이고 자원 활용도를 향상시켰다.
• 제안된 프레임워크는 표준 동기 및 이방식 SGD와 수렴성과 정확도가 유사하며, 실험에서 성능 저하가 관찰되지 않았다.
• 타이밍 모델은 성능 트레이드오프를 정확하게 예측하여 설계 선택 사항을 검증하고 효과적인 시스템 튜닝을 가능하게 했다.
• 양자화와 같은 압축 기법은 AllReduce 파이프라인에 효율적으로 통합되어 훈련 안정성이나 최종 모델 정확도를 훼손하지 않았다.