[논문 리뷰] Benchmarking the Performance and Energy Efficiency of AI Accelerators for AI Training

Yuxin Wang, Qiang Wang외 5명|arXiv (Cornell University)|2019. 09. 15.

Advanced Neural Network Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 다양한 워크로드(예: CNN, RNN, Transformer, Deep Speech 2)에서 딥러닝 훈련을 위한 인텔 CPU, NVIDIA 및 AMD GPU, 구글 TPU의 성능과 에너지 효율성을 벤치마킹한다. 종합적인 평가 프레임워크를 통해 하드웨어 및 소프트웨어 스택 간 성능과 에너지 소비의 상당한 차이를 드러내며, AI 가속기의 하드웨어 선택 및 최적화 기회에 대한 실질적인 통찰을 제공한다.

ABSTRACT

Deep learning has become widely used in complex AI applications. Yet, training a deep neural network (DNNs) model requires a considerable amount of calculations, long running time, and much energy. Nowadays, many-core AI accelerators (e.g., GPUs and TPUs) are designed to improve the performance of AI training. However, processors from different vendors perform dissimilarly in terms of performance and energy consumption. To investigate the differences among several popular off-the-shelf processors (i.e., Intel CPU, NVIDIA GPU, AMD GPU, and Google TPU) in training DNNs, we carry out a comprehensive empirical study on the performance and energy efficiency of these processors by benchmarking a representative set of deep learning workloads, including computation-intensive operations, classical convolutional neural networks (CNNs), recurrent neural networks (LSTM), Deep Speech 2, and Transformer. Different from the existing end-to-end benchmarks which only present the training time, We try to investigate the impact of hardware, vendor's software library, and deep learning framework on the performance and energy consumption of AI training. Our evaluation methods and results not only provide an informative guide for end-users to select proper AI accelerators, but also expose some opportunities for the hardware vendors to improve their software library.

연구 동기 및 목표

• 실제 딥러닝 워크로드에서 주요 AI 가속기—인텔 CPU, NVIDIA 및 AMD GPU, 구글 TPU의 성능과 에너지 효율성을 평가하고 비교하기.
• 하드웨어 아키텍처, 벤더 최적화 소프트웨어 라이브러리(예: cuDNN, ROCm, 텐서플로우) 및 딥러닝 프레임워크가 훈련 성능과 에너지 소비에 미치는 영향 분석하기.
• 예산 및 성능 제약 조건 하에서 모델 훈련을 위한 비용 효율적이고 효율적인 AI 가속기 선택에 대한 실증적 지침 제공하기.
• 특히 커널 수준의 활용도와 에너지 효율성 측면에서 하드웨어 및 소프트웨어 제조사의 성능 저하 요인과 최적화 기회 폭 드러내기.

제안 방법

• 계산 집약적인 연산, CNN, LSTMs, Deep Speech 2, Transformer 등 대표적인 딥러닝 워크로드를 벤치마킹.
• 동일한 구성 조건 하에서 여러 하드웨어 플랫폼에서 종단 간 훈련 성능(샘플/초)과 에너지 소비(에너지/샘플) 측정.
• 하드웨어 및 소프트웨어 스택 구성 요소의 영향을 분리하기 위해 저수준 연산과 전체 모델 훈련을 모두 평가.
• 표준 프레임워크(예: 텐서플로우)와 벤더 최적화 라이브러리(cuDNN, ROCm, MKLDNN)를 사용하여 현실적인 성능 평가 보장.
• 성능 한계 분석 및 GPU 활용도의 소프트웨어 비효율성 규명을 위해 루프라이너 모델 적용.
• 다양한 세대의 GPU(P100, V100, Titan X)와 TPU(Cloud TPU v2/v3)를 대상으로 결과 수집, 전력 및 에너지 지표 포함.

실험 결과

연구 질문

• RQ1 다양한 딥러닝 워크로드에서 CPU, GPU, TPU 등 다른 AI 가속기 간 성능과 에너지 효율성은 어떻게 비교되는가?
• RQ2 소프트웨어 라이브러리(예: cuDNN, ROCm) 및 프레임워크 선택이 AI 훈련의 성능과 에너지 소비에 얼마나 큰 영향을 미치는가?
• RQ3 고성능 GPU(NVIDIA)와 신규 대안(AMD 레이더스 VII) 간 딥뉴럴넷(DNN) 훈련에서의 성능 및 에너지 소비 트레이드오프는 어떠한가?
• RQ4 TPU의 하드웨어 특화 최적화는 GPU 기반 가속기 대비 처리량과 에너지 효율성 측면에서 어떻게 비교되는가?
• RQ5 현재 AI 가속기 스택에서 성능과 에너지 효율성을 제한하는 주요 저하 요인은 무엇인가?

주요 결과

• 구글 TPU v3는 Transformer 모델에서 최고의 처리량(최대 35,772.93 샘플/초)을 기록하여 GPU와 CPU를 크게 앞서며 뚜렷한 우월성을 보였다.
• AMD 레이더스 VII는 ResNet-50 훈련에서 275.50 샘플/초를 기록하여 NVIDIA Titan X(260.15 샘플/초)를 초월하고 V100 성능에 가까이 다가섰다.
• 에너지 효율성은 상당한 차이를 보였다: V100(MP)는 ResNet-50에서 에너지 소비가 0.0066 J/샘플로 가장 낮았고, CPU는 300.12 J/샘플을 소비하여 일반 목적 프로세서의 높은 비효율성을 보였다.
• NVIDIA V100 GPU는 ResNet-50에서 0.0088 J/샘플의 뛰어난 성능-에너지 비율을 기록했으며, P100은 0.0123 J/샘플, Radeon VII는 0.0198 J/샘플을 기록했다.
• Titan X(Pascal)는 더 큰 모델에서 성능이 일관되지 못했으며, 일부 워크로드에서 OOM(메모리 부족) 오류가 발생해 메모리 제약을 드러냈다.
• 유사한 계산 능력을 가진 GPU 간에도 성능 격차가 관찰되어, 소프트웨어 스택과 커널 최적화가 실제 효율성에 결정적인 역할을 한다는 점을 입증했다.