[论文解读] Designing Efficient LLM Accelerators for Edge Devices

Jude Haris, Rappy Saha+2 more|arXiv (Cornell University)|Aug 1, 2024

Particle accelerators and beam dynamics被引用 4

一句话总结

该论文提出SECDA-LLM，一种新型的基于FPGA的加速器设计平台，可简化在资源受限的边缘设备上高效部署大型语言模型（LLM）推理的软硬件协同加速器的开发流程。通过将SECDA方法与llama.cpp推理框架集成，该平台实现了针对定制化加速器的快速原型设计与部署，针对使用块浮点量化MatMul加速器的TinyLlama模型，其性能相比双核ARM NEON CPU执行实现了11倍的加速。

ABSTRACT

The increase in open-source availability of Large Language Models (LLMs) has enabled users to deploy them on more and more resource-constrained edge devices to reduce reliance on network connections and provide more privacy. However, the high computation and memory demands of LLMs make their execution on resource-constrained edge devices challenging and inefficient. To address this issue, designing new and efficient edge accelerators for LLM inference is crucial. FPGA-based accelerators are ideal for LLM acceleration due to their reconfigurability, as they enable model-specific optimizations and higher performance per watt. However, creating and integrating FPGA-based accelerators for LLMs (particularly on edge devices) has proven challenging, mainly due to the limited hardware design flows for LLMs in existing FPGA platforms. To tackle this issue, in this paper we first propose a new design platform, named SECDA-LLM, that utilizes the SECDA methodology to streamline the process of designing, integrating, and deploying efficient FPGA-based LLM accelerators for the llama.cpp inference framework. We then demonstrate, through a case study, the potential benefits of SECDA-LLM by creating a new MatMul accelerator that supports block floating point quantized operations for LLMs. Our initial accelerator design, deployed on the PYNQ-Z1 board, reduces latency 1.7 seconds per token or ~2 seconds per word) by 11x over the dual-core Arm NEON-based CPU execution for the TinyLlama model.

研究动机与目标

• 解决由于高计算与内存需求，导致在资源受限的边缘设备上部署大型语言模型（LLMs）的挑战。
• 通过提供简化的开发流程，降低为LLM推理开发定制化FPGA加速器的复杂度与开发成本。
• 实现针对LLM推理工作负载（特别是量化操作）的硬件-软件协同优化设计。
• 展示在LLM中部署专用FPGA加速器以实现块浮点量化MatMul操作的可行性与性能提升。
• 为未来在边缘LLM加速领域的开发与协作提供可重用、可扩展的平台。

提出的方法

• SECDA-LLM平台将SECDA方法与llama.cpp推理框架集成，以支持基于FPGA的LLM加速器的硬件-软件协同设计。
• 平台支持AXI-API集成与性能分析工具，以简化加速器的开发、集成与性能评估流程。
• 设计了一款定制化的MatMul加速器，包含指令解码器、数据映射器、调度器以及用于高效计算的超块向量处理器（SBVP）。
• 该加速器支持块浮点量化（权重为Q3_K，输入为Q8_K），通过为每个块（tile）和全局设置缩放因子，以保持模型精度。
• 设计将超块映射到片上缓冲区，以最小化内存访问延迟，并支持点积运算的流水线执行。
• 该加速器已部署于PYNQ-Z1 FPGA开发板，并与llama.cpp运行时环境集成，将MatMul运算从CPU卸载至FPGA。

Figure 1 : Overview of the SECDA methodology [ 11 ] . Components in the dashed lines correspond to simulation, and in the dotted lines to execution on real hardware.

实验结果

研究问题

• RQ1 统一的设计平台是否能显著降低在边缘设备上开发基于FPGA的LLM推理加速器的复杂度与时间？
• RQ2 通过SECDA-LLM进行硬件-软件协同设计，在资源受限的边缘硬件上对量化LLM的推理性能提升程度如何？
• RQ3 针对块浮点量化MatMul操作的定制化FPGA加速器在降低LLM推理延迟方面的有效性如何？
• RQ4 在边缘设备上，将MatMul运算从双核ARM NEON CPU卸载至FPGA加速器后，可实现多大的性能提升？
• RQ5 SECDA-LLM平台是否能够支持对新兴LLM量化方案的新加速器设计的快速原型设计与评估？

主要发现

• SECDA-LLM平台通过将硬件设计流程与llama.cpp推理框架集成，实现了基于FPGA的LLM加速器的高效端到端开发。
• 定制化的MatMul加速器在TinyLlama模型上相比双核ARM NEON CPU执行实现了11倍的加速，单Token推理延迟降低至1.7秒。
• 该加速器成功支持块浮点量化（Q3_K与Q8_K），在保持模型精度的同时，实现了在资源受限边缘硬件上的高效计算。
• 采用超块结构并结合每块与全局缩放因子，实现了高精度计算且精度损失极小，对维持LLM性能至关重要。
• 执行性能分析显示，该加速器设计有效减少了空闲周期，并在推理过程中实现了FPGA资源的高利用率。
• 案例研究证明，SECDA-LLM显著降低了在边缘FPGA上开发与部署优化LLM加速器的入门门槛。

Figure 2 : Overview of SECDA-LLM. Key SECDA components are highlighted in orange, and the LLM components are highlighted in beige.