[论文解读] Benchmarking the Performance and Energy Efficiency of AI Accelerators for AI Training

Yuxin Wang, Qiang Wang+5 more|arXiv (Cornell University)|Sep 15, 2019

Advanced Neural Network Applications参考文献 42被引用 6

一句话总结

本文对英特尔CPU、英伟达和AMD GPU以及谷歌TPU在多种深度学习训练工作负载（包括CNN、RNN、Transformer和Deep Speech 2）下的性能和能效进行了基准测试。通过全面的评估框架，揭示了不同软硬件堆栈在性能和能耗方面的显著差异，为AI加速器的选型与优化提供了切实可行的见解。

ABSTRACT

Deep learning has become widely used in complex AI applications. Yet, training a deep neural network (DNNs) model requires a considerable amount of calculations, long running time, and much energy. Nowadays, many-core AI accelerators (e.g., GPUs and TPUs) are designed to improve the performance of AI training. However, processors from different vendors perform dissimilarly in terms of performance and energy consumption. To investigate the differences among several popular off-the-shelf processors (i.e., Intel CPU, NVIDIA GPU, AMD GPU, and Google TPU) in training DNNs, we carry out a comprehensive empirical study on the performance and energy efficiency of these processors by benchmarking a representative set of deep learning workloads, including computation-intensive operations, classical convolutional neural networks (CNNs), recurrent neural networks (LSTM), Deep Speech 2, and Transformer. Different from the existing end-to-end benchmarks which only present the training time, We try to investigate the impact of hardware, vendor's software library, and deep learning framework on the performance and energy consumption of AI training. Our evaluation methods and results not only provide an informative guide for end-users to select proper AI accelerators, but also expose some opportunities for the hardware vendors to improve their software library.

研究动机与目标

• 评估并比较主流AI加速器——英特尔CPU、英伟达和AMD GPU以及谷歌TPU——在真实世界深度学习工作负载下的性能与能效表现。
• 分析硬件架构、厂商优化的软件库（如cuDNN、ROCm、TensorFlow）以及深度学习框架对训练性能与能耗的影响。
• 为终端用户提供实证指导，帮助其在预算与性能约束下选择成本效益高且高效的AI加速器用于模型训练。
• 揭示当前AI加速器栈中的性能瓶颈与优化机会，尤其关注内核级利用率与能效方面的改进空间。

提出的方法

• 基准测试了具有代表性的深度学习工作负载：计算密集型操作、CNN、LSTM、Deep Speech 2以及Transformer。
• 在相同配置下，测量了多种硬件平台上的端到端训练性能（样本/秒）与能耗（焦耳/样本）。
• 同时评估底层操作与完整模型训练，以分离硬件与软件堆栈各组件的影响。
• 使用标准化框架（如TensorFlow）及厂商优化库（cuDNN、ROCm、MKLDNN）以确保性能评估的真实性。
• 应用屋顶模型（roofline model）分析性能上限，并识别GPU利用率中的软件低效问题。
• 收集了多代GPU（P100、V100、Titan X）与TPU（Cloud TPU v2/v3）的结果，包括功耗与能效指标。

实验结果

研究问题

• RQ1 在多种深度学习工作负载下，不同AI加速器（CPU、GPU、TPU）在训练性能与能效方面如何比较？
• RQ2 软件库的选择（如cuDNN、ROCm）以及框架对AI训练性能与能耗的影响有多大？
• RQ3 高端GPU（英伟达）与新兴替代品（AMD Radeon VII）在训练DNN时的性能与能效权衡如何？
• RQ4 与基于GPU的加速器相比，TPU中的硬件特定优化在吞吐量与能效方面表现如何？
• RQ5 当前AI加速器栈中的关键瓶颈是什么，限制了性能与能效的进一步提升？

主要发现

• 谷歌TPU v3在Transformer模型上实现了最高吞吐量（高达35,772.93样本/秒），显著优于GPU与CPU。
• AMD Radeon VII在ResNet-50训练中达到275.50样本/秒，优于NVIDIA Titan X（260.15样本/秒），并接近V100的性能表现。
• 能效差异显著：V100(MP)在ResNet-50上能耗最低，仅为0.0066 J/样本，而CPU能耗高达300.12 J/样本，表明通用处理器效率极低。
• NVIDIA V100 GPU展现出更优的性能-能效比，在ResNet-50上为0.0088 J/样本，优于P100的0.0123 J/样本与Radeon VII的0.0198 J/样本。
• Titan X（Pascal）在大模型上表现出不一致的性能，部分工作负载出现OOM（内存不足）错误，凸显其内存限制。
• 即使在计算能力相近的GPU之间，性能差异依然显著，表明软件堆栈与内核优化在实际效率中起着决定性作用。