[논문 리뷰] Theano-MPI: a Theano-based Distributed Training Framework

He Ma, Fei Mao외 1명|arXiv (Cornell University)|2016. 05. 26.

Advanced Neural Network Applications참고 문헌 15인용 수 5

한 줄 요약

Theano-MPI는 CUDA-aware MPI를 통해 데이터 병렬성으로 다중 노드, 다중 GPU 환경에서 딥러닝 모델을 확장 가능하고 오픈소스로 분산 학습할 수 있도록 해주는 프레임워크이다. GPU 간 직접 전송, 반정밀도 전송, 최적화된 파라미터 동기화를 통해 통신 오버헤드를 줄여, 8개의 GPU에서 AlexNet을 학습할 경우 데이터 처리 속도를 최대 6.7배 향상시키며, 모델 수렴성을 유지한다.

ABSTRACT

We develop a scalable and extendable training framework that can utilize GPUs across nodes in a cluster and accelerate the training of deep learning models based on data parallelism. Both synchronous and asynchronous training are implemented in our framework, where parameter exchange among GPUs is based on CUDA-aware MPI. In this report, we analyze the convergence and capability of the framework to reduce training time when scaling the synchronous training of AlexNet and GoogLeNet from 2 GPUs to 8 GPUs. In addition, we explore novel ways to reduce the communication overhead caused by exchanging parameters. Finally, we release the framework as open-source for further research on distributed deep learning

연구 동기 및 목표

• Theano를 사용하여 다중 노드, 다중 GPU 클러스터에서 딥러닝 모델의 확장 가능한 분산 학습을 가능하게 하기.
• CUDA-aware MPI와 GPUDirect P2P를 활용해 분산 학습의 통신 오버헤드를 줄이기.
• 효율적인 파라미터 교환과 향상된 수렴 행동을 지원하는 동기 및 이방식 학습을 모두 제공하기.
• 모델 정확도를 유지하면서 학습 속도를 높이는 고성능이고 확장 가능한 프레임워크를 제공하기.
• 향후 분산 딥러닝 연구를 지원하기 위해 프레임워크를 오픈소스로 공개하기.

제안 방법

• 프레임워크는 CUDA-aware MPI를 사용해 호스트 메모리의 영향 없이 직접 GPU 간 데이터 전송을 가능하게 하여 통신 지연을 최소화한다.
• 각 GPU에 할당된 다수의 Theano 프로세스를 통해 데이터 병렬성을 구현하며, 노드 간 파라미터 평균화를 MPI를 통해 수행한다.
• 데이터 전송 및 합산 연산을 분리하여 GPU에서 통신과 계산을 겹치게 하여 효율성을 향상시킨다.
• 동기 및 이방식 학습을 모두 지원하며, 이방식 모드는 EASGD 유사 전략을 사용하고 평균화 주기 τ와 이동률 α를 구성 가능하게 한다.
• 대역폭 사용을 줄이고 통신 속도를 높이기 위해 반정밀도(FP16) 데이터 전송을 적용한다.
• Python 수준의 MPI 접근을 위해 mpi4py를 사용하고, Theano 0.8, cuDNN v4, CUDA 7.0과 통합하여 GPU 가속 계산을 지원한다.

실험 결과

연구 질문

• RQ1 다중 GPU 및 다중 노드로 확장할 때 분산 딥러닝의 통신 오버헤드를 어떻게 최소화할 수 있는가?
• RQ2 CUDA-aware MPI와 GPUDirect P2P를 사용할 경우 다중 GPU 환경에서 학습 속도 향상과 수렴에 어떤 영향을 미치는가?
• RQ3 Theano 기반 분산 학습에서 동기 및 이방식 학습 간 선택이 수렴성과 성능에 미치는 영향은 무엇인가?
• RQ4 반정밀도 통신은 모델 정확도를 떨어뜨리지 않고 통신 시간을 줄일 수 있는가?
• RQ5 이방식 분산 학습에서 최적의 수렴성과 속도 향상을 위해 어떤 하이퍼파라미터 설정(예: τ, α)이 필요한가?

주요 결과

• 8개의 GPU에서 AlexNet을 학습할 경우, 데이터 처리 속도 향상이 6.7배에 달했으며, 49개의 전역 에포크에서 상위 5개 오차는 21.12%였다.
• 이방식 학습에서 τ=1 및 α=0.5 조건에서 8개의 GPU에서 Platoon 대비 통신 오버헤드가 42% 감소했다.
• CUDA-aware MPI와 직접 GPU 간 전송을 사용함으로써 통신 지연이 크게 감소했으며, 특히 다중 노드 환경에서 두드러졌다.
• 데이터 전송과 합산 연산을 분리함으로써 통신과 계산의 겹침이 향상되어 전체 효율성이 향상되었다.
• 적절한 하이퍼파라미터 설정을 통해 8개의 GPU로 확장해도 단일 GPU 학습과 유사한 모델 수렴성을 유지했다.
• 성능은 구리 클러스터의 QPI 토폴로지로 인해 제한되었으며, GPUDirect P2P가 완전히 활용되지 않을 경우 노드 내 통신 병목 현상이 존재함을 시사했다.