[논문 리뷰] ChainerMN: Scalable Distributed Deep Learning Framework

Takuya Akiba, Keisuke Fukuda외 1명|arXiv (Cornell University)|2017. 10. 31.

Advanced Neural Network Applications참고 문헌 6인용 수 58

한 줄 요약

ChainerMN은 Chainer 프레임워크를 확장하여 최대 128개의 GPU에서 동기식 데이터 병렬 분산 학습을 가능하게 하며 높은 병렬 효율성을 달성합니다. NCCL을 사용하여 빠른 All-reduce를 수행하고 단일 노드 Chainer 코드에서 쉬운 포팅 경로를 제공합니다.

ABSTRACT

One of the keys for deep learning to have made a breakthrough in various fields was to utilize high computing powers centering around GPUs. Enabling the use of further computing abilities by distributed processing is essential not only to make the deep learning bigger and faster but also to tackle unsolved challenges. We present the design, implementation, and evaluation of ChainerMN, the distributed deep learning framework we have developed. We demonstrate that ChainerMN can scale the learning process of the ResNet-50 model to the ImageNet dataset up to 128 GPUs with the parallel efficiency of 90%.

연구 동기 및 목표

• 대규모 데이터셋(ImageNet 등)을 가속화하기 위한 확장 가능한 분산 학습 필요성 동기 부여.
• Define-by-Run 유연성을 보존하는 Chainer 프레임워크의 분산 확장(ChainerMN) 제시.
• 기존 Chainer 프로그램을 분산 실행으로 쉽게 포팅할 수 있도록 API 및 구현 설계.
• ResNet-50 on ImageNet과 함께 대형 GPU 클러스터에서 확장성 및 성능 입증.

제안 방법

• Allreduce 기반 기울기 평균화를 통해 동기식 데이터 병렬 학습 채택.
• Inter-GPU 및 인터노드 통신 최적화를 위해 NCCL 통합.
• Define-by-Run 친화적 API를 최소한으로 확장하는 API 제공( Communicator, Multi-node Optimizer, Scatter ).
• 매개변수 업데이트 전에 기울기를 투명하게 교환하기 위해 Multi-node Optimizer로 Chainer 옵티마이저 래핑.
• 데이터 세트를 Scatter를 통해 프로세스 간 동일한 청크로 분배.
• ImageNet의 ResNet-50을 사용하여 128-GPU 클러스터에서 확장성 평가.

실험 결과

연구 질문

• RQ1 ChainerMN이 대형 모델에서 대형 GPU 클러스터에 대해 확장 가능한 동기식 데이터 병렬 학습을 달성할 수 있는가?
• RQ2 실제 워크로드(ResNet-50 on ImageNet)에서 128GPU까지 확장할 때 달성 가능한 병렬 효율은 무엇인가?
• RQ3 ChainerMN API가 기존 Chainer 코드를 분산 환경으로 쉽게 포팅하는 데 어떤 영향을 미치는가?
• RQ4 이 맥락에서 Allreduce를 위한 NCCL 사용이 성능에 어떤 이점을 제공하는가?

주요 결과

• ChainerMN은 고병렬 효율로 128 GPU까지 확장 가능(단일 노드 대비 90%, 단일 GPU 대비 79%).
• 128 GPUs에서 ResNet-50/ImageNet 실험에 대해 단일 GPU 대비 101.32×의 속도 향상을 달성.
• 구성 간의 병렬 효율은 여전히 높게 유지되며(예: 더 작은 규모에서 88–92%, 128 GPUs에서 79.16%).
• 설계는 분산 실행 가능성을 허용하면서도 Chainer의 Define-by-Run 유연성을 보존합니다.
• NCCL을 사용하면 All-reduce 통신의 효율성이 향상되어 관찰된 확장성에 기여합니다.