[논문 리뷰] A detailed comparative study of open source deep learning frameworks

Ghadeer Al-Bdour, Raffi Al-Qurran외 2명|arXiv (Cornell University)|2019. 02. 25.

Anomaly Detection Techniques and Applications참고 문헌 41인용 수 11

한 줄 요약

이 논문은 딥러닝 프레임워크 중 최고로 평가되는 세 가지 오픈소스 프레임워크—TensorFlow, Theano, CNTK—간의 종합적인 정량적 및 정성적 비교를 제시하며, CNN 및 RNN 아키텍처를 사용해 다양한 벤치마크 데이터셋에서 성능을 평가한다. 연구 결과, CNTK는 GPU 및 멀티GPU 환경에서 다양한 이미지 처리, 자연어 처리, 컴퓨터 비전 작업 전반에 걸쳐 훈련 속도와 자원 효율성 면에서 항상 뛰어난 성능을 보였다.

ABSTRACT

Deep Learning (DL) is one of the hottest trends in machine learning as DL approaches produced results superior to the state-of-the-art in problematic areas such as image processing and natural language processing (NLP). To foster the growth of DL, several open source frameworks appeared providing implementations of the most common DL algorithms. These frameworks vary in the algorithms they support and in the quality of their implementations. The purpose of this work is to provide a qualitative and quantitative comparison among three of the most popular and most comprehensive DL frameworks (namely Google's TensorFlow, University of Montreal's Theano and Microsoft's CNTK). The ultimate goal of this work is to help end users make an informed decision about the best DL framework that suits their needs and resources. To ensure that our study is as comprehensive as possible, we conduct several experiments using multiple benchmark datasets from different fields (image processing, NLP, etc.) and measure the performance of the frameworks' implementations of different DL algorithms. For most of our experiments, we find out that CNTK's implementations are superior to the other ones under consideration.

연구 동기 및 목표

• 가장 인기 있는 오픈소스 딥러닝 프레임워크—TensorFlow, Theano, CNTK—간의 종합적이고 실험적인 비교를 제공하기 위해.
• 다양한 하드웨어 구성에서 훈련 속도, 자원 활용도, 확장성 측면에서 각 프레임워크의 강점과 약점을 규명하기 위해.
• 연구자 및 실무자가 특정 컴퓨팅 자원과 응용 요구사항에 맞는 가장 적합한 프레임워크를 선택할 수 있도록 안내하기 위해.
• 표준 벤치마크 데이터셋을 사용해 이미지 분류, 자연어 처리, 영상 분석 등 다양한 딥러닝 작업에서의 프레임워크 성능을 평가하기 위해.
• 다양한 신경망 아키텍처와 하드웨어 플랫폼에서 CPU 및 GPU 활용도, 메모리 소비, 수렴 속도를 분석하기 위해.

제안 방법

• 연구는 윈도우 10를 사용하는 랩탑 환경에서 실시되었으며, 다중 코어 CPU(인텔 i7-3820 및 Xeon E5-2630)와 여러 NVIDIA GPU(GTX980, GTX1080, Tesla K80)를 사용하였다.
• 실험은 다섯 가지 벤치마크 데이터셋(MNIST, CIFAR-10, IMDB, Self-Driving Car, Penn TreeBank)을 대상으로 수행되었으며, 이는 이미지 처리, 자연어 처리, 영상 분석 작업을 대표한다.
• 다양한 신경망 아키텍처를 훈련시켰다: 완전 연결 네트워크, CNN(예: MNIST 및 CIFAR-10용), RNN(LSTM은 IMDB 및 Penn TreeBank용).
• 성능 지표로는 훈련 시간, 정확도/퍼플렉서티, CPU 및 GPU 활용도 비율, 메모리 사용량, 수렴에 필요한 에포크 수를 포함하였다.
• 모든 프레임워크는 CPU 및 GPU 환경에서 평가되었으며, 두 개의 Tesla K80 카드를 사용한 멀티GPU 설정도 포함되었다.
• 결과는 정확도, 활용도, 메모리 사용량, 수렴 속도 등을 모두 포함한 상세한 표(표 5–9)에 수집 및 보고되었다.

실험 결과

연구 질문

• RQ1 TensorFlow, Theano, CNTK는 다양한 딥러닝 아키텍처와 데이터셋에서 훈련 속도 측면에서 어떻게 비교될 수 있는가?
• RQ2 효율적인 자원 활용도를 유지하면서도 높은 정확도 또는 낮은 퍼플렉서티를 달성하는 프레임워크는 무엇인가?
• RQ3 단일 및 멀티GPU 설정, 다양한 CPU 유형을 포함한 다양한 하드웨어 구성에서 각 프레임워크는 어떻게 성능을 보이는가?
• RQ4 각 프레임워크의 메모리 및 CPU/GPU 활용도 패턴은 무엇이며, 이는 훈련 효율성에 어떤 영향을 미치는가?
• RQ5 멀티GPU 환경에서 가장 뛰어난 수렴 속도와 확장성을 보이는 프레임워크는 무엇인가?

주요 결과

• CNTK는 대부분의 실험에서 가장 빠른 훈련 성능를 기록했으며, 특히 RNN 훈련(LSTM)에서 다른 프레임워크보다 5–10배 빠른 성능를 보였다.
• IMDB 데이터셋에서 CNTK는 GPU에서 단 2 에포크 만에 88.93%의 정확도를 달성했고, TensorFlow와 Theano는 각각 3 에포크가 필요했다. 또한 Theano는 CNTK에 비해 매우 낮은 CPU 활용도(14.6%)를 보였으며, 이는 효율성 부족을 시사한다.
• Self-Driving Car 데이터셋에서 CNTK는 GPU에서 32.4%의 GPU 활용도로 99.97%의 정확도를 달성했고, Theano는 31%의 활용도를 기록했지만 높은 정확도에도 불구하고 자원을 효율적으로 활용하지 못했다.
• Penn TreeBank 데이터셋에서 CNTK는 가장 낮은 퍼플렉서티(113.7, CPU 기준)를 기록했으며, Theano에 비해 더 낮은 메모리 사용량(1.3% CPU, 2.2% GPU)을 보였다. 반면 Theano는 각각 4.1% CPU, 5.4% GPU를 사용했다.
• TensorFlow는 모든 데이터셋에서 가장 높은 메모리 활용도를 보였으며, MNIST에서는 5.2%의 GPU 메모리 사용량, IMDB에서는 9.1%를 기록했다. 반면 CNTK는 일관되게 가장 낮은 메모리 프로파일을 유지했다.
• 대부분의 경우 높은 CPU 활용도를 보였지만, Theano는 대부분의 경우 매우 낮은 CPU 활용도(14.7% MNIST, 15.3% CIFAR-10)를 보였으며, 이는 CPU 기반 훈련 환경에서의 비효율성을 나타낸다.