[论文解读] Hardware Acceleration of LLMs: A comprehensive survey and comparison

Nikoletta Koilia, Christoforos Kachris|arXiv (Cornell University)|Sep 5, 2024

Parallel Computing and Optimization Techniques被引用 4

一句话总结

本文对大型语言模型（LLMs）的硬件加速器进行了全面综述，并通过外推法对不同制程技术（尤其是16nm）下的性能和能效进行了标准化比较。该研究评估了FPGA、ASIC、GPU及存内计算架构，结果表明ASIC在性能方面表现最佳（最高达363,647 GOPS），而存内计算加速器在能效方面具有显著优势，从而实现了在技术差异背景下更准确的跨平台基准测试。

ABSTRACT

Large Language Models (LLMs) have emerged as powerful tools for natural language processing tasks, revolutionizing the field with their ability to understand and generate human-like text. In this paper, we present a comprehensive survey of the several research efforts that have been presented for the acceleration of transformer networks for Large Language Models using hardware accelerators. The survey presents the frameworks that have been proposed and then performs a qualitative and quantitative comparison regarding the technology, the processing platform (FPGA, ASIC, In-Memory, GPU), the speedup, the energy efficiency, the performance (GOPs), and the energy efficiency (GOPs/W) of each framework. The main challenge in comparison is that every proposed scheme is implemented on a different process technology making hard a fair comparison. The main contribution of this paper is that we extrapolate the results of the performance and the energy efficiency on the same technology to make a fair comparison; one theoretical and one more practical. We implement part of the LLMs on several FPGA chips to extrapolate the results to the same process technology and then we make a fair comparison of the performance.

研究动机与目标

• 解决由于制程技术差异导致的LLM硬件加速器性能比较不公平的问题。
• 通过将性能和能效外推至统一的16nm制程技术，建立标准化基准测试框架。
• 评估并比较FPGA、ASIC、GPU及存内计算平台在性能和能效方面的表现。
• 为研究人员提供一种与技术无关的可靠依据，以选择或设计LLM加速器。

提出的方法

• 作者采用先前研究（如Stillmaker & Baas, 2017）中的缩放公式，将性能和能效外推至16nm制程技术。
• 基于已发表的性能数据和制程节点特性，对FPGA和ASIC加速器进行理论外推。
• 通过在不同制程节点（180nm至20nm）的FPGA上实现基于VHDL的矩阵乘法IP核，开展实验验证以测量最高时钟频率。
• 利用实验结果验证并优化FPGA加速器的理论外推模型。
• 性能以GOPS（每秒十亿次操作）衡量，能效以GOPS/W衡量，从而实现跨平台比较。
• 比较涵盖针对Swin-T、Swin-B、Swin-S、BETA、Me-ViT、FTRANS、Via、STA-4、STA-8及AccelTran（边缘/服务器）ASIC等LLM的加速器。

Figure 1: Performance per process technology

实验结果

研究问题

• RQ1 如何在不同制程技术之间公平比较LLM加速器的性能和能效？
• RQ2 当标准化至16nm制程节点时，FPGA、ASIC、GPU及存内计算架构的LLM加速器在性能和能效方面的相对表现如何？
• RQ3 理论缩放模型在多大程度上能准确预测不同制程节点下FPGA的性能？
• RQ4 在标准化后，哪种硬件平台在LLM推理中实现了最高的绝对性能（GOPS）和能效（GOPS/W）？
• RQ5 在不同制程节点的FPGA上测量时钟频率的实验结果，如何支持理论外推？

主要发现

• 经外推至16nm后，AccelTran（服务器）ASIC的性能最高，达到363,647 GOPS，显著优于其他平台。
• Me-ViT FPGA加速器在16nm下实现2,682 GOPs，展现了FPGA设计的高性能潜力。
• BETA FPGA加速器在16nm下实现1,436 GOPs，表明其在注意力机制密集型LLM工作负载中表现优异。
• 存内计算加速器在能效方面优于其他平台，尽管本研究的重点并非绝对性能。
• 实验测得的FPGA时钟频率（180nm至20nm）结果验证了理论缩放模型的有效性，显示随着制程技术节点增大，时钟频率呈可预测的下降趋势。
• 本研究确立了只有通过技术标准化，才能实现加速器之间的公平比较，否则基于不同制程节点的原始性能数据具有误导性。

Figure 2: Performance (Log) per process technology