Skip to main content
QUICK REVIEW

[논문 리뷰] FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU

Ying Sheng, Lianmin Zheng|arXiv (Cornell University)|2023. 03. 13.
Topic ModelingComputer Science인용 수 47
한 줄 요약

FlexGen은 GPU/CPU/디스크 메모리를 집계하고, 선형 계획법 검색으로 텐서 배치를 최적화하며, 4비트 가중치/KV-캐시 압축을 적용하여 단일 일반 GPU에서 대형 언어 모델의 고처리량 생성 추론을 가능하게 하는 오프로드 기반 프레임워크를 제시합니다.

ABSTRACT

The high computational and memory requirements of large language model (LLM) inference make it feasible only with multiple high-end accelerators. Motivated by the emerging demand for latency-insensitive tasks with batched processing, this paper initiates the study of high-throughput LLM inference using limited resources, such as a single commodity GPU. We present FlexGen, a high-throughput generation engine for running LLMs with limited GPU memory. FlexGen can be flexibly configured under various hardware resource constraints by aggregating memory and computation from the GPU, CPU, and disk. By solving a linear programming problem, it searches for efficient patterns to store and access tensors. FlexGen further compresses the weights and the attention cache to 4 bits with negligible accuracy loss. These techniques enable FlexGen to have a larger space of batch size choices and thus significantly increase maximum throughput. As a result, when running OPT-175B on a single 16GB GPU, FlexGen achieves significantly higher throughput compared to state-of-the-art offloading systems, reaching a generation throughput of 1 token/s for the first time with an effective batch size of 144. On the HELM benchmark, FlexGen can benchmark a 30B model with a 16GB GPU on 7 representative sub-scenarios in 21 hours. The code is available at https://github.com/FMInference/FlexGen

연구 동기 및 목표

  • 제한된 GPU 메모리 하에서 LLM의 처리량 지향 생성 추론의 필요성과 동기를 제시한다.
  • GPU, CPU, 디스크 전역에서 텐서 배치 및 연산 스케줄을 최적화하는 정식(공식적인) 오프로드 전략을 개발한다.
  • 재훈련 없이 가중치와 KV 캐시를 압축하기 위한 4비트 그룹별 양자화 방법을 제안한다.
  • 조정된 오프로드와 압축이 OPT 모델에서 특히 매우 큰 규모에서 실질적인 처리량 향상을 가져다줌을 입증한다.

제안 방법

  • 연산 스케줄(행별, 열별, 지그재그 블록), 텐서 배치(가중치/활성화/KV 캐시의 GPU/CPU/디스크 간 배치), 특정 작업에 대한 계산 위임(CPU 대 GPU) 간의 탐색 공간을 형식적으로 정의한다.
  • I/O 및 컴퓨트 비용을 추정하는 해석적 비용 모델과 함께 하드웨어 제약 하에서 처리량을 최적화하기 위해 선형계획법 기반 정책 탐색을 사용한다.
  • 가중치와 KV 캐시에 대해 I/O와 메모리를 줄이기 위한 4비트 세밀한 그룹별 양자화를 제안하고, 연산을 위해 FP16으로 디퀀타이즈한다.
  • 정밀도 손실이 거의 없으면서 처리량을 더 높이기 위해 근사 방법(그룹별 양자화 및 희소 어텐션)을 사용할 수 있게 한다.
  • 파이프라인 병렬화를 사용하여 다중 GPU 구성으로 접근 방식을 확장하고 디코딩 처리량에서 잠재적 초선형 확장을 달성한다.

실험 결과

연구 질문

  • RQ1GPU/CPU/디스크 메모리를 결합하여 단일 일반 GPU에서 고처리량 LLM 추론을 어떻게 달성할 수 있는가?
  • RQ2OPT-175B와 같은 대형 모델에 대한 생성 추론에서 어떤 오프로드 전략과 텐서 배치 정책이 처리량을 최대화하는가?
  • RQ3가중치와 KV 캐시의 4비트 양자화를 재훈련 없이 구현하여 메모리와 I/O 비용을 실질적으로 줄일 수 있는가?
  • RQ4대표 워크로드에서 대형 모델에 대해 기존 오프로드 시스템과 비교했을 때 FlexGen의 처리량 이점은 어느 정도인가?

주요 결과

  • FlexGen은 OPT-175B에서 최첨단 오프로드 시스템보다 현저히 높은 처리량을 달성하여 단일 16GB GPU에서 유효 배치 크기 144로 1 토큰/초를 달성합니다.
  • HELM 벤치마크에서 30B 모델과 16GB GPU를 사용해 FlexGen은 7개의 하위 시나리오를 21시간에 벤치마크할 수 있습니다.
  • 4비트 압축으로 가중치를 CPU에 보관하고 디스크 오프로드를 제거하여 최대 처리량이 최대 100× 증가하고(유효 배치 크기 144) 4000s 지연을 달성합니다.
  • OPT-6.7B 및 OPT-30B 규모에서 FlexGen은 더 큰 배치 크기와 CPU/디스크 오프로드를 가능하게 하여 DeepSpeed Zero-Inference 및 Hugging Face Accelerate와 같은 기준선보다 처리량을 능가합니다.
  • FlexGen의 4비트 압축과 오프로드 조합은 기준선 대비 상당한 처리량 개선을 제공하며, 통합 텐서 배치와 I/O 인지 스케줄링의 이점을 보여줍니다.
  • Petals와 비교할 때, FlexGen은 GPU당 처리량이 더 높고 특정 시나리오에서 지연 시간이 더 짧을 수 있습니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.