[論文レビュー] FAST-Prefill: FPGA Accelerated Sparse Attention for Long Context LLM Prefill

Rakshith Jayanth, Viktor Prasanna|arXiv (Cornell University)|Feb 24, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

FAST-Prefill は、長文コンテキストLLMのプレフィル時に動的スパースアテンションを加速するFPGAアクセラレータで、ストリーミングスパースインデックス生成、ライフネス駆動の二層KVキャッシュ、ハイブリッドマトリックス処理ユニットを提供し、GPUベースの基準と比べてTTFTを最大で2.5x、エネルギー効率を最大で4.5x改善。

ABSTRACT

In long-context large language model (LLM) inference, the prefill stage dominates computation due to self-attention over the complete input context. Sparse attention significantly reduces self-attention computation by limiting each token's interactions to a subset of tokens. The attention sparsity pattern varies across input prompts, and within a prompt, each attention head can follow a distinct pattern. This makes attention sparsity dynamic. The requirement of generating the sparsity pattern, combined with limited data reuse in attention, shifts the prefill compute to being memory-bound. This, in addition to the huge energy requirements for long-context inference on GPU, motivates FPGAs as good candidates for accelerating dynamic long-context inference. To tackle these challenges, we propose FAST-Prefill, the first FPGA accelerator for long-context prefill-stage inference with dynamic sparse attention. To efficiently generate sparse indices, we propose a extit{fused pipeline unit with a memory-aware execution order} to reduce large tensors and irregular memory accesses. To reduce off-chip memory traffic for accessing the KV cache, we utilize the memory hierarchy to design a extit{liveness-driven, dual-tier cache}. For high-throughput matrix multiplication, we design a extit{hybrid Matrix Processing Unit (MPU)} with DSPs and bit-plane decomposition using LUTs. We implement FAST-Prefill on Alveo U280 and evaluate it on the Llama and Qwen models (batch size = 1) for context lengths ranging from 4K to 128K tokens. We demonstrate an average speedup of up to 2.5$ imes$ in TTFT and 4.5$ imes$ improvement in energy efficiency over GPU implementation on Nvidia A5000 GPU.

研究の動機と目的

• 自己注意がコストの支配的要因である長文コンテキストLLMの効率的なプレフィルを動機づける。
• FPGA上の動的なスパース性パターンとメモリ拘束のプレフィルワークロードに対する課題に対処する。
• スパースインデックス生成、KVキャッシュの管理、行列乗算の高速化というアーキテクチャ上の革新を提案する。
• 実モデル上でFPGAハードウェアの実現性と性能/エネルギー利点を示す。

提案手法

• 長期文脈LLMsの動的スパースプレフィル向けの初のFPGAアクセラレータとしてFAST-Prefillを提案する（W8A8精度）。
• 大規模中間テンソルを増分集約により排除するストリーミング型・メモリアウェアなSparse Index Generation Unit (SIGU) を実装する。
• オフチップメモリのトラフィックを削減しKV再利用を改善するライフネス駆動の二層KVキャッシュ（Hot/Cold）を設計する。
• INT-8マットムに対してDSPベースとビット平面（LUTベース）演算を組み合わせたHybrid Matrix Processing Unit (MPU) を開発する。
• 入力を128トークンずつのチャンクで処理し、層をストリーミングしつつ正確性を維持するためにバリア満載パイプラインでスパースインデックス生成を実行する。
• Xilinx Alveo U280上でNvidia A5000と比較評価し、LlamaおよびQwenモデルを4K–128Kコンテキスト長で用い、TTFTとエネルギー効率を報告する。

Figure 1 : FAST-Prefill Architecture

実験結果

リサーチクエスチョン

• RQ1 長文コンテキストプレフィルにおいて、W8A8精度でFPGA上の動的スパースアテンションを効率的に加速できるか。
• RQ2 FPGA上で大きな中間量を現れさせず、スパースインデックス生成を蓄積と融合できるか。
• RQ3 高いKV再利用を動的スパース性パターンで維持するために、どのキャッシュ設計とメモリ階層が最適か。
• RQ4 ビット平面とDSPベースのマットムを組み合わせたハイブリッドMPUはINT-8計算のスループットを改善するか。

主な発見

• FAST-Prefill はGPUベースの動的スパースプレフィル実装に対して最大で1.2–2.5xのTTFT改善を達成。
• FAST-Prefill はGPU基準に対して最大で4.5xのエネルギー効率を提供。
• ライフネス駆動の二層KVキャッシュは約65%のヒット率をもたらし、オフチップアクセスを削減しキャッシュなし設計と比較してTTFTを約2.5x改善。
• ハイブリッドMPUはDSP専用MPUに対して約1.8xのレイテンシ改善を提供し、LUTのアイドリングを防ぐ。
• ストリーミングスパースインデックス生成を蓄積と融合させることで大規模中間量（約4KB対約4GB）を実 materialize せず、帯域幅効率の高い動作を実現。
• Flex-Prefillベースラインと比較して、W8A8-FAST-Prefill はINT-8へ量子化した場合にRULERベンチマークで同等の精度を維持。

Figure 2 : Prefill Workflow with Sparse Attention