[논문 리뷰] Comparative Study of Caffe, Neon, Theano, and Torch for Deep Learning

Soheil Bahrampour, Naveen Ramakrishnan외 2명|arXiv (Cornell University)|2015. 11. 19.

Advanced Neural Network Applications참고 문헌 7인용 수 103

한 줄 요약

이 논문은 다양한 딥러닝 아키텍처에 대해 확장성, 하드웨어 활용도, 그리고 CPU와 GPU(NVIDIA Titan X)에서의 속도를 고려하여 Caffe, Neon, Theano, Torch를 비교한다. 주요 발견 결과로는 Torch가 CPU에서 및 GPU에서 대규모 네트워크에서 뛰어난 성능을 보이며, Theano는 LSTM 학습 및 배포에서 선두를 차지하고 있으며, Caffe는 표준 아키텍처 평가에 가장 적합하다.

ABSTRACT

Deep learning methods have resulted in significant performance improvements in several application domains and as such several software frameworks have been developed to facilitate their implementation. This paper presents a comparative study of four deep learning frameworks, namely Caffe, Neon, Theano, and Torch, on three aspects: extensibility, hardware utilization, and speed. The study is performed on several types of deep learning architectures and we evaluate the performance of the above frameworks when employed on a single machine for both (multi-threaded) CPU and GPU (Nvidia Titan X) settings. The speed performance metrics used here include the gradient computation time, which is important during the training phase of deep networks, and the forward time, which is important from the deployment perspective of trained networks. For convolutional networks, we also report how each of these frameworks support various convolutional algorithms and their corresponding performance. From our experiments, we observe that Theano and Torch are the most easily extensible frameworks. We observe that Torch is best suited for any deep architecture on CPU, followed by Theano. It also achieves the best performance on the GPU for large convolutional and fully connected networks, followed closely by Neon. Theano achieves the best performance on GPU for training and deployment of LSTM networks. Finally Caffe is the easiest for evaluating the performance of standard deep architectures.

연구 동기 및 목표

• Caffe, Neon, Theano, Torch의 네 가지 주요 딥러닝 프레임워크의 확장성, 하드웨어 활용도, 속도를 평가하고 비교하기.
• 합성 및 순환 네트워크를 포함한 다양한 딥러닝 아키텍처에서의 프레임워크 성능 평가하기.
• CPU 및 GPU 환경에서 학습 시 기울기 계산 시간(성능 기준)과 배포 시 순방향 전파 시간 측정하기.
• 각 프레임워크 내에서 다양한 합성곱 알고리즘의 지원 및 성능 분석하기.
• CPU 추론, GPU 학습, 또는 표준 아키텍처 평가와 같은 특정 용도에 가장 적합한 프레임워크 식별하기.

제안 방법

• CPU(다중 스레드) 및 GPU(NVIDIA Titan X) 환경에서 단일 머신에서 각 프레임워크를 벤치마킹하기.
• 합성 및 완전 연결 네트워크를 포함한 다양한 딥러닝 아키텍처에서 성능 평가하기.
• 학습 효율성의 핵심 지표로 기울기 계산 시간과 배포 성능을 측정하기 위한 순방향 전파 시간 측정하기.
• 프레임워크 간 다양한 합성곱 알고리즘의 지원 및 실행 속도 평가하기.
• 일致한 비교를 위해 표준화된 데이터셋과 네트워크 구성 사용하기.
• 실제 사용 패턴을 반영하기 위해 학습(기울기 계산) 및 추론(순방향 전파) 워크로드 모두에 중점을 두기.

실험 결과

연구 질문

• RQ1 어느 프레임워크가 커스텀 딥러닝 아키텍처에 대해 가장 높은 확장성을 제공하는가?
• RQ2 각 프레임워크는 학습 및 추론에서 CPU 및 GPU 활용도 측면에서 어떻게 비교되는가?
• RQ3 대규모 딥 네트워크에서 기울기 계산 시간이 가장 빠른 프레임워크는 무엇인가?
• RQ4 배포된 모델에서 순방향 전파 성능이 가장 우수한 프레임워크는 무엇인가?
• RQ5 각 프레임워크는 다양한 합성곱 알고리즘을 얼마나 잘 지원하고 최적화하는가?

주요 결과

• Theano와 Torch는 가장 쉽게 확장 가능한 프레임워크로, 상대적으로 쉽게 커스텀 네트워크 수정을 지원한다.
• Torch는 모든 평가된 딥러닝 아키텍처에서 CPU에서 가장 뛰어난 성능을 보이며, 다른 프레임워크를 압도한다.
• GPU에서는 대규모 합성곱 및 완전 연결 네트워크에서 Torch가 가장 뛰어난 성능을 보이며, 그 다음으로 Neon이 뒤를 이룬다.
• Theano는 LSTM 네트워크 학습 및 배포 워크로드에서 GPU 성능이 가장 뛰어나 다른 프레임워크를 앞선다.
• Caffe는 표준 딥러닝 아키텍처 평가에 가장 간편하고 효과적인 프레임워크로, 특히 사용 편의성과 성능 측정 측면에서 뛰어나다.
• 성능 순위는 네트워크 유형에 따라 달라지며, 어떤 프레임워크도 모든 지표와 아키텍처에서 우월하지는 않다.