[論文レビュー] Designing Efficient LLM Accelerators for Edge Devices

Jude Haris, Rappy Saha+2 more|arXiv (Cornell University)|Aug 1, 2024

Particle accelerators and beam dynamics被引用数 4

ひとこと要約

この論文は、リソース制限のあるエッジデバイスにおける大規模言語モデル（LLM）推論のための効率的で、ハードウェア・ソフトウェア共同最適化されたアクセラレータの開発を簡素化する、FPGAベースのアクセラレータ設計プラットフォームであるSECDA-LLMを提案する。SECDA手法をllama.cpp推論フレームワークと統合することで、カスタムアクセラレータの迅速なプロトタイピングとデプロイが可能となり、ブロック浮動小数点量子化されたMatMulアクセラレータを用いて、TinyLlamaモデルの推論において二コアARM NEON CPU実行比で11倍の高速化を達成した。

ABSTRACT

The increase in open-source availability of Large Language Models (LLMs) has enabled users to deploy them on more and more resource-constrained edge devices to reduce reliance on network connections and provide more privacy. However, the high computation and memory demands of LLMs make their execution on resource-constrained edge devices challenging and inefficient. To address this issue, designing new and efficient edge accelerators for LLM inference is crucial. FPGA-based accelerators are ideal for LLM acceleration due to their reconfigurability, as they enable model-specific optimizations and higher performance per watt. However, creating and integrating FPGA-based accelerators for LLMs (particularly on edge devices) has proven challenging, mainly due to the limited hardware design flows for LLMs in existing FPGA platforms. To tackle this issue, in this paper we first propose a new design platform, named SECDA-LLM, that utilizes the SECDA methodology to streamline the process of designing, integrating, and deploying efficient FPGA-based LLM accelerators for the llama.cpp inference framework. We then demonstrate, through a case study, the potential benefits of SECDA-LLM by creating a new MatMul accelerator that supports block floating point quantized operations for LLMs. Our initial accelerator design, deployed on the PYNQ-Z1 board, reduces latency 1.7 seconds per token or ~2 seconds per word) by 11x over the dual-core Arm NEON-based CPU execution for the TinyLlama model.

研究の動機と目的

• 大規模言語モデル（LLM）をリソース制限のあるエッジデバイスにデプロイする課題に、高い計算およびメモリ要件が原因で対処するため。
• FPGAベースのLLM推論アクセラレータを構築する際の複雑さと開発コストを低減するため、簡素化された設計フローを提供するため。
• 特に量子化演算を対象とした、LLM推論ワークロードに特化したハードウェア・ソフトウェア共同最適化を可能にするため。
• ブロック浮動小数点量子化されたMatMul演算に特化したFPGAアクセラレータの実装可能性と性能向上を実証するため。
• 今後のエッジLLMアクセラレーション分野における開発と共同作業を促進する、再利用可能で拡張可能なプラットフォームを提供するため。

提案手法

• SECDA-LLMプラットフォームは、SECDA手法をllama.cpp推論フレームワークと統合することで、FPGAベースのLLMアクセラレータのためのハードウェア・ソフトウェア共同設計を可能にする。
• プラットフォームはAXI-API統合とプロファイリングツールをサポートし、アクセラレータ開発、統合、性能評価を簡素化する。
• 効率的な計算を実現するため、命令デコーダ、データマッパー、スケジューラ、およびスーパーブロックベクトルプロセッサ（SBVP）を備えたカスタムMatMulアクセラレータが設計された。
• アクセラレータはブロック浮動小数点量子化（重み用にQ3_K、入力用にQ8_K）をサポートし、各タイルおよびグローバルなスケーリング要因を用いたスーパーブロック（SBs）を用いて、モデルの正確性を維持する。
• スーパーブロックをオンチップバッファにマッピングすることで、メモリアクセス遅延を最小限に抑え、ドット積のパイプライン実行を可能にする。
• アクセラレータはPYNQ-Z1 FPGAボードにデプロイされ、llama.cppランタイムと統合され、CPUからのMatMul演算のオフロードが実現された。

Figure 1 : Overview of the SECDA methodology [ 11 ] . Components in the dashed lines correspond to simulation, and in the dotted lines to execution on real hardware.

実験結果

リサーチクエスチョン

• RQ1 統合された設計プラットフォームは、エッジデバイスにおけるFPGAベースのLLMアクセラレータの開発に要する複雑さと時間を顕著に低減できるか？
• RQ2 SECDA-LLMを用いたハードウェア・ソフトウェア共同最適化は、制限されたエッジハードウェアにおける量子化LLMの推論性能をどの程度向上できるか？
• RQ3 ブロック浮動小数点量子化されたMatMul演算に特化したカスタムFPGAアクセラレータは、LLM推論の遅延低減にどの程度効果的か？
• RQ4 エッジデバイスにおける二コアARM NEON CPUからFPGAアクセラレータにMatMul演算をオフロードすることで、どの程度の性能向上が達成できるか？
• RQ5 SECDA-LLMプラットフォームは、新たなLLM量子化スキームに対応する新しいアクセラレータ設計の迅速なプロトタイピングと評価をサポートできるか？

主な発見

• SECDA-LLMプラットフォームは、ハードウェア設計フローをllama.cpp推論フレームワークと統合することで、FPGAベースのLLMアクセラレータの効率的でエンドツーエンドの開発を可能にする。
• カスタムMatMulアクセラレータは、TinyLlamaモデルの推論において、二コアARM NEON CPU実行比で11倍の高速化を達成し、1トークンあたりの遅延を1.7秒に削減した。
• アクセラレータはブロック浮動小数点量子化（Q3_KおよびQ8_K）を正常にサポートし、限られたエッジハードウェア上で効率的な計算を実現しながら、モデルの正確性を維持した。
• タイルごとのスケーリング要因とグローバルスケーリング要因を備えたスーパーブロックの使用により、最小限の精度損失で正確な計算が可能となり、LLM性能の維持に不可欠であった。
• 実行プロファイリングの結果、アクセラレータ設計がアイドルサイクルを効果的に低減し、推論中におけるFPGAリソースの高い利用率を達成していた。
• ケーススタディにより、SECDA-LLMがエッジFPGAにおける最適化されたLLMアクセラレータの開発とデプロイのための障壁を顕著に低減していることが示された。

Figure 2 : Overview of SECDA-LLM. Key SECDA components are highlighted in orange, and the LLM components are highlighted in beige.