[논문 리뷰] Benchmarking State-of-the-Art Deep Learning Software Tools

Shaohuai Shi, Qiang Wang외 2명|arXiv (Cornell University)|2016. 08. 25.

Advanced Neural Network Applications참고 문헌 22인용 수 70

한 줄 요약

이 논문은 Caffe, CNTK, MXNet, TensorFlow, Torch의 다섯 가지 최신 딥러닝 프레임워크를 다양한 신경망 유형(FCNs, CNNs, RNNs)과 하드웨어 플랫폼(CPUs 및 GPUs)에서 벤치마킹한다. 성능은 도구, 네트워크 유형, 하드웨어에 따라 크게 달라지며, CNTK는 RNN에서 뛰어난 성능을 보이고, MXNet은 대규모 CNN에서 뛰어난 성능을 보이며, GPU 가속은 CPU 대비 상당한 성능 향상을 제공한다. 또한 다중 GPU 스케일링은 기울기 집계 전략에 크게 의존한다.

ABSTRACT

Deep learning has been shown as a successful machine learning method for a variety of tasks, and its popularity results in numerous open-source deep learning software tools. Training a deep network is usually a very time-consuming process. To address the computational challenge in deep learning, many tools exploit hardware features such as multi-core CPUs and many-core GPUs to shorten the training time. However, different tools exhibit different features and running performance when training different types of deep networks on different hardware platforms, which makes it difficult for end users to select an appropriate pair of software and hardware. In this paper, we aim to make a comparative study of the state-of-the-art GPU-accelerated deep learning software tools, including Caffe, CNTK, MXNet, TensorFlow, and Torch. We first benchmark the running performance of these tools with three popular types of neural networks on two CPU platforms and three GPU platforms. We then benchmark some distributed versions on multiple GPUs. Our contribution is two-fold. First, for end users of deep learning tools, our benchmarking results can serve as a guide to selecting appropriate hardware platforms and software tools. Second, for software developers of deep learning tools, our in-depth analysis points out possible future directions to further optimize the running performance.

연구 동기 및 목표

• 다양한 신경망 아키텍처에서 GPU 가속을 지원하는 주요 딥러닝 프레임워크의 성능을 평가하고 비교하는 것.
• 다양한 딥러닝 워크로드에 최적화된 소프트웨어-하드웨어 조합을 규명하는 것.
• 특히 기울기 집계 전략과 같은 시스템 설계 선택이 다중 GPU 확장성에 미치는 영향을 분석하는 것.
• 최종 사용자가 효율적인 도구와 하드웨어를 선택할 수 있도록 안내하고, 개발자가 성능 최적화 기회를 이해할 수 있도록 돕는 것.

제안 방법

• 연구는 두 가지 CPU 플랫폼(Intel i7-3820 및 Xeon E5-2630)과 세 가지 GPU 플랫폼(GTX 980, GTX 1080, Tesla K80)에서 다섯 가지 딥러닝 프레임워크(Caffe, CNTK, MXNet, TensorFlow, Torch)를 벤치마킹한다.
• 실험은 완전 연결 네트워크(FCNs), 컨볼루션 신경망(CNNs), 그리고 LSTM 기반 순환 신경망(RNNs)의 소형 및 대형 버전을 훈련하는 것을 포함한다.
• 성능는 합성 및 실제 데이터를 사용하여 측정되며, 주로 훈련 시간과 처리량을 중심으로 분석된다.
• 다중 GPU 성능는 두 대의 Tesla K80 카드(4개의 GPU)를 사용한 데이터 병렬 처리를 통해 평가되며, 기울기 집계 오버헤드와 통신 패턴을 분석한다.
• 커널 실행 패턴과 cuDNN 사용, 오토튜닝, 메모리 트레이드오프와 같은 시스템 수준 최적화를 분석한다.
• 세부 프로파일링을 통해 커널 연산, 메모리 이동, 통신 토폴로지(특히 PCIe 대역폭 제한)를 분석하여 발견사항을 검증한다.

실험 결과

연구 질문

• RQ1 다섯 가지 딥러닝 프레임워크는 CPU와 GPU에서 다양한 신경망 아키텍처에서 훈련 속도 측면에서 어떻게 비교되는가?
• RQ2 하드웨어 플랫폼(CPU 대비 GPU)과 GPU 모델(GTX 980, 1080, K80)은 훈련 성능에 어떤 영향을 미치는가?
• RQ3 다중 GPU 데이터 병렬 처리는 확장성에 어떤 영향을 미치며, 기울기 집계 전략은 성능에 어떤 역할을 하는가?
• RQ4 CNTK는 왜 LSTM 기반 RNN 훈련에서 다른 도구들보다 뛰어나게 성능을 내는가?
• RQ5 설정 설정과 시스템 수준 최적화(예: 오토튜닝, 메모리 트레이드오프)는 프레임워크 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 단일 GPU에서 CNTK는 기울기 처리와 최적화된 커널 설계 덕분에 LSTM 기반 RNN 훈련에서 다른 도구들보다 최대 5–10배 높은 효율성을 보였다.
• MXNet은 대규모 CNN에서 특히 GTX 1080에서 뛰어난 성능을 보이며, 효율적인 커널 융합과 cuDNN 통합 덕분에 다른 도구들보다 뚜렷한 성능 우위를 보였다.
• CNTK와 MXNet은 CNN과 FCN에서 뛰어난 다중 GPU 확장성을 보였지만, TensorFlow와 Torch는 CPU 기반 기울기 집계로 인해 확장성에 제약을 받았다.
• GTX 1080은 높은 계산 처리 능력과 메모리 대역폭 덕분에 대부분의 벤치마크에서 최고의 성능을 보였다.
• CPU 기반 기울기 집계(예: TensorFlow와 Torch에서 사용됨)는 주요 성능 저하 요인으로 작용했으며, PCIe 전송 시간(미니배치당 최대 0.0256초)이 성능에 상당한 영향을 미쳤다.
• 시스템 수준 설계 선택—예를 들어 CNTK의 1비트 확률적 경사 하강법 및 MXNet의 GPU 기반 집계—는 CPU 중심 접근 방식에 비해 다중 GPU 확장성 향상에 크게 기여했다.