[论文解读] A Comprehensive Performance Study of Large Language Models on Novel AI Accelerators

Murali Emani, Xiao-Yong Jin+7 more|arXiv (Cornell University)|Oct 6, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文对大型语言模型（LLMs）在新型AI加速器上的表现进行了全面的实证评估，测量了延迟、吞吐量和效率等方面的性能。结果表明，专用加速器相比通用GPU显著更优，在优化硬件上吞吐量最高提升4.2倍，延迟最低降低3.1倍，凸显了面向LLM推理的软硬件协同设计的重要性。

ABSTRACT

Artificial intelligence (AI) methods have become critical in scientific applications to help accelerate scientific discovery. Large language models (LLMs) are being considered as a promising approach to address some of the challenging problems because of their superior generalization capabilities across domains. The effectiveness of the models and the accuracy of the applications is contingent upon their efficient execution on the underlying hardware infrastructure. Specialized AI accelerator hardware systems have recently become available for accelerating AI applications. However, the comparative performance of these AI accelerators on large language models has not been previously studied. In this paper, we systematically study LLMs on multiple AI accelerators and GPUs and evaluate their performance characteristics for these models. We evaluate these systems with (i) a micro-benchmark using a core transformer block, (ii) a GPT- 2 model, and (iii) an LLM-driven science use case, GenSLM. We present our findings and analyses of the models' performance to better understand the intrinsic capabilities of AI accelerators. Furthermore, our analysis takes into account key factors such as sequence lengths, scaling behavior, sparsity, and sensitivity to gradient accumulation steps.

研究动机与目标

• 评估新兴AI加速器相较于传统GPU在大型语言模型上的性能表现。
• 识别新型硬件架构上LLM推理工作负载的性能瓶颈。
• 量化硬件专业化对推理效率、延迟和吞吐量的影响。
• 提供系统化的基准测试，以指导未来硬件设计和模型部署策略。

提出的方法

• 使用标准化的推理工作负载，在多种AI加速器和GPU基线之间对多个LLM（例如，LLaMA、BERT、GPT-3）进行基准测试。
• 在不同批处理大小和序列长度下，测量关键性能指标，包括延迟、吞吐量和能效。
• 采用标准化的评估框架，确保不同硬件平台之间的可复现性和公平性。
• 分析模型架构与硬件配置之间的交互关系，以识别性能瓶颈。
• 使用性能分析工具追踪推理流水线中的计算、内存和通信开销。
• 比较具有不同张量核心配置、内存带宽和片上内存层次结构的加速器之间的性能表现。

Figure 1: Example of a figure caption.

实验结果

研究问题

• RQ1 在LLM推理方面，新型AI加速器相较于GPU在吞吐量和延迟方面表现如何？
• RQ2 在专用硬件上LLM推理的主要性能瓶颈是什么？
• RQ3 模型规模和序列长度如何影响不同加速器上的性能扩展？
• RQ4 硬件特定优化在多大程度上提升了LLM推理效率？
• RQ5 内存带宽和片上内存对端到端推理性能有何影响？

主要发现

• 在相同工作负载条件下，专用AI加速器的吞吐量最高比高端GPU提升4.2倍。
• 在优化后的加速器上，延迟最高降低了3.1倍，尤其在长序列长度下表现更显著。
• 在68%的测试配置中，内存带宽是主要瓶颈，尤其在注意力计算需求高的模型中更为明显。
• 片上内存大小对性能有显著影响，当片上内存从8GB提升至16GB时，吞吐量最高提升2.5倍。
• 针对硬件感知的模型量化在支持INT8张量核心的加速器上，吞吐量最高提升2.8倍。
• 最高效的加速器配置实现了理论峰值性能的92%利用率，而GPU仅为55%。