[논문 리뷰] FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
FlashAttention-3는 Hopper GPU의 비동기성과 FP8 저정밀도 활용으로 주의(attention) 속도를 높이고, FlashAttention-2 대비 1.5–2.0x FP16 속도향상과 거의 1.2 PFLOPs/s FP8 성능을 달성하며 정확도도 향상됩니다.
Attention, as a core layer of the ubiquitous Transformer architecture, is the bottleneck for large language models and long-context applications. FlashAttention elaborated an approach to speed up attention on GPUs through minimizing memory reads/writes. However, it has yet to take advantage of new capabilities present in recent hardware, with FlashAttention-2 achieving only 35% utilization on the H100 GPU. We develop three main techniques to speed up attention on Hopper GPUs: exploiting asynchrony of the Tensor Cores and TMA to (1) overlap overall computation and data movement via warp-specialization and (2) interleave block-wise matmul and softmax operations, and (3) block quantization and incoherent processing that leverages hardware support for FP8 low-precision. We demonstrate that our method, FlashAttention-3, achieves speedup on H100 GPUs by 1.5-2.0$ imes$ with FP16 reaching up to 740 TFLOPs/s (75% utilization), and with FP8 reaching close to 1.2 PFLOPs/s. We validate that FP8 FlashAttention-3 achieves 2.6$ imes$ lower numerical error than a baseline FP8 attention.
연구 동기 및 목표
- 장기 맥락 변환기와 새로운 모달리티를 위한 더 빠른 주의(attention) 동기부여.
- Hopper GPU 기능(비동기성 및 FP8)을 활용하여 주의(attention)를 재설계.
- 저정밀도에서 수치 오차를 관리하면서 처리량을 더 높임.
제안 방법
- 메모리 및 계산 지연을 숨기기 위해 warp-전문화와 생산자-소비자 비동기 도입.
- WGMMA 기반 GEMM의 2단계(또는 3단계) 파이프라이닝으로 GEMM-softmax를 중첩.
- 블록 양자화와 비일관 처리로 양자화 오차를 줄이기 위해 하드웨어 가속 FP8 GEMM 사용.
- FP8 WGMMA 제약을 만족시키기 위한 커널 내 V 타일 전치(transpose) 및 레이아웃 적응 적용.
- FP16/FP8에서 H100에 대해 FlashAttention-2 및 cuDNN과의 벤치마크를 수행하고 TFLOPs/s 및 속도향상을 보고.
- PyTorch 및 Hugging Face와의 통합 계획과 함께 오픈소스 구현 제공

실험 결과
연구 질문
- RQ1비동기성 및 저정밀도 하드웨어 기능을 어떻게 활용하여 최신 GPU에서 주의(attention)을 가속할 수 있는가?
- RQ2forward/backward 처리량에 대한 워프-전문화 및 GEMM-softmax 중첩이 미치는 영향은 무엇인가?
- RQ3FP8 기반 주의(attention)가 더 높은 처리량을 제공하면서도 경쟁력 있는 정확도를 달성할 수 있는가?
- RQ4FP8 WGMMA를 주의(attention)에서 사용할 때의 실용적 레이아웃/정밀도 제약은 무엇인가?
- RQ5FlashAttention-3가 Hopper GPU에서 기존의 GPU 최적화 주의 구현과 어떻게 비교되는가?
주요 결과
- FP16 FlashAttention-3는 forward 패스에서 FlashAttention-2 대비 1.5–2.0x 속도향상, backward 패스에서 1.5–1.75x 속도향상을 달성합니다.
- H100에서 FP16의 경우 최대 740 TFLOPs/s(75% 활용도)에 도달하고 FP8의 경우 약 1.2 PFLOPs/s에 근접합니다.
- 블록 양자화 및 비일관 처리로 FP8 FlashAttention-3은 퍼-텐서 양자화가 없는 표준 주의(attention) 대비 2.6배 더 정확합니다. (이상치 특징이 있는 경우)
- 2단계 GEMM-softmax 파이프라이닝과 warp-전문화가 상당한 가속에 기여합니다(예: ablations에서 570→661 TFLOPs).
- FP16은 중간 결과가 FP32에 남아 FlashAttention-2와 수치적인 등가성을 유지하는 반면, FP8은 블록 기법으로 기본 FP8 대비 오차를 줄입니다.
- FlashAttention-3은 오픈소스로 제공되며 PyTorch 및 Hugging Face와의 통합을 목표로 합니다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.