[논문 리뷰] XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training

Lei Guan, Wotao Yin외 2명|arXiv (Cornell University)|2019. 10. 24.

Advanced Neural Network Applications참고 문헌 34인용 수 36

한 줄 요약

XPipe는 마이크로 배치를 사용하고 새로운 Adam 기반 가중치 예측을 활용하는 비동기 파이프라인 모델 병렬성 방법으로, 동기 GPipe와 유사한 정확도와 높은 처리량을 달성하며, 많은 설정에서 PipeDream 및 SpecTrain을 능가합니다.

ABSTRACT

We propose XPipe, an efficient asynchronous pipeline model parallelism approach for multi-GPU DNN training. XPipe is designed to use multiple GPUs to concurrently and continuously train different parts of a DNN model. To improve GPU utilization and achieve high throughput, it splits a mini-batch into a set of micro-batches. It allows the overlapping of the pipelines of multiple micro-batches, including those belonging to different mini-batches. Most importantly, the novel weight prediction strategy adopted by XPipe enables it to effectively address the weight inconsistency and staleness issues incurred by the asynchronous pipeline parallelism. As a result, XPipe incorporates the advantages of both synchronous and asynchronous pipeline model parallelism approaches. Concretely, it can achieve very comparable (even slightly better) model accuracy as its synchronous counterpart while obtaining higher throughput than it. Experimental results show that XPipe outperforms other state-of-the-art synchronous and asynchronous model parallelism approaches.

연구 동기 및 목표

• 다중 GPU DNN 학습에서 GPU 활용률이 낮은 문제를 해결하기 위해 GPU 간 동시 학습을 가능하게 한다.
• 기존 파이프라인 병렬성 접근 방식과 비교하여 처리량을 개선하고 모델 정확도를 유지하거나 향상시킨다.
• 마이크로 배치 분할과 교차 미니배치 학습을 활용하여 활용도와 확장성을 높인다.

제안 방법

• 미니 배치를 T개의 마이크로 배치로 분할하여 GPU 전반에 걸친 파이프라인을 형성한다.
• 다른 미니 배치의 마이크로 배치를 교차 학습하도록 하여 GPU를 바쁘게 유지한다.
• 가중치 불일치와 스테일니스를 완화하기 위한 Adam 기반 가중치 예측 스킴을 도입한다.
• 미래 가중치를 예측하고 예측치를 재사용해 오버헤드를 줄이기 위한 선도 벤치마크 벤치마크 마이크로 배치를 설계한다.
• 안정성을 유지하기 위해 업데이트를 적용하기 전에 마이크로 배치들 간의 기울기(그라디언트)를 누적한다.
• 러닝 모먼트를 활용한 순전파와 역전파용 가중치 예측 공식을 제시한다(식 1-4).

실험 결과

연구 질문

• RQ1 비동기 파이프라인 모델 병렬화를 다중 GPU DNN 학습에서 동기식 접근법과 동일한 정확도로 만들 수 있는가?
• RQ2 가중치 예측을 통한 마이크로 배치 교차 학습이 수렴을 희생하지 않으면서 GPU 활용도와 처리량을 개선하는가?
• RQ3 Adam 기반 가중치 예측이 파이프라인 DP 학습에서 가중치 불일치와 스테일니스 문제를 효과적으로 해결할 수 있는가?
• RQ4 일반적인 CNN 모델과 데이터세트에서 수렴성과 처리량 측면에서 XPipe가 GPipe, PipeDream, SpecTrain과 어떻게 비교되는가?

주요 결과

• XPipe는 테스트된 모델과 데이터세트 전반에서 GPipe와 비교하거나 더 나은 정확도를 유지하면서 높은 처리량을 달성한다.
• XPipe는 GPipe에 비해 처리량이 향상되며(특정 Tiny ImageNet 4-GPU 실행에서 최대 150.8% 등), 일반적으로 PipeDream 및 SpecTrain보다 정확도 면에서 우수하다.
• Adam 기반 가중치 예측은 이전 방법들에서 사용된 스무딩된 그래디언트 방식보다 가중치 불일치와 스테일니스 문제를 더 효과적으로 완화한다.
• XPipe는 T 값(T=1,2,4)과 다양한 옵티마이저(RMSProp, Adam)에서 견고한 수렴을 유지한다.
• GPipe 성능은 T에 민감한 반면 XPipe는 T와 무관하게 안정적이고 높은 활용도를 유지하며, Tiny ImageNet에서 Inception-V3 및 ResNet-101에 대해 상당한 처리량 향상을 달성한다.