[논문 리뷰] SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification

Xupeng Miao, Gabriele Oliaro외 13명|arXiv (Cornell University)|2023. 05. 16.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 트리 기반의 사전 추론 프레임워크인 Collie를 제안하며, 병렬적으로 트리 기반 디코딩을 통해 다수의 소형 모델(SSM)을 공동으로 미세조정하여 후보 토큰을 생성함으로써 생성형 LLM의 서빙을 가속화한다. LLaMA-30B에서 순차 기반 기준 대비 최대 2.3배 높은 처리량과 2.1배 낮은 지연 시간을 달성하며, 정확도 손실을 최소화하면서도 뚜렷한 성능 향상을 보여준다.

ABSTRACT

This paper introduces SpecInfer, a system that accelerates generative large language model (LLM) serving with tree-based speculative inference and verification. The key idea behind SpecInfer is leveraging small speculative models to predict the LLM's outputs; the predictions are organized as a token tree, whose nodes each represent a candidate token sequence. The correctness of all candidate token sequences represented by a token tree is verified against the LLM in parallel using a novel tree-based parallel decoding mechanism. SpecInfer uses an LLM as a token tree verifier instead of an incremental decoder, which significantly reduces the end-to-end latency and computational requirement for serving generative LLMs while provably preserving model quality. Our evaluation shows that SpecInfer outperforms existing LLM serving systems by 1.5-2.8x for distributed LLM inference and by 2.6-3.5x for offloading-based LLM inference, while preserving the same generative performance. SpecInfer is publicly available at https://github.com/flexflow/FlexFlow/

연구 동기 및 목표

• 대규모 생성형 대규모 언어 모델(LLM) 서빙에서 발생하는 지연 시간과 처리량의 한계를 해결하기 위해.
• 후보 토큰 생성 시 순차적 종속성과 높은 메모리 오버헤드로 인해 제약을 받는 순차 기반 사전 추론 디코딩의 한계를 극복하기 위해.
• 다중 후보 경로를 동시에 지원하는 트리 기반의 구조를 통해 효율적이고 병렬적인 사전 추론 디코딩을 가능하게 하기 위해.
• 소형 모델(SSM)의 공동 미세조정을 통해 생성 품질을 손상시키지 않으면서 서빙 효율성을 향상시키기 위해.
• 다양한 샘플링 전략(예: 극단적, 확률적)과 모델 크기(LaMA-7B, LLaMA-30B)에 걸쳐 확장성과 성능 향상을 입증하기 위해.

제안 방법

• 사전 훈련된 LLaMA-160M 모델에서 유도된 다수의 소형 모델(SSM)을 공동으로 미세조정하여 병렬적으로 사전 추론 토큰을 생성한다.
• 다양한 후보 토큰 시퀀스를 동시에 생성하고 검증할 수 있도록 허용하는 트리 기반의 디코딩 구조를 적용하여 순차적 종속성을 감소시킨다.
• GPU 간 데이터 병렬 처리를 통해 다수의 SSM을 서빙하고, 네 개의 A10 GPU를 통해 텐서 모델 병렬 처리를 통해 LLM 추론을 확장한다.
• 완전한 LLM에 대한 사전 추론 토큰의 정확성을 검증하는 메커니즘을 구현하여 잘못된 경로를 거부하고 필요에 따라 재실행한다.
• 다양한 샘플링 전략과 모델 구성에서의 상대적 성능 향상을 평가하기 위해 누적 분포 함수(CDF) 분 析를 적용한다.
• 실제 환경 조건에서 종단 간 지연 시간과 처리량을 평가하기 위해 GPU당 배치 크기 1로 배치 추론을 구현한다.

(a) Greedy sampling.

실험 결과

연구 질문

• RQ1 LLM 서빙에서 처리량과 지연 시간 측면에서 트리 기반의 사전 추론 디코딩이 순차 기반 접근 방식을 능가할 수 있는가?
• RQ2 SSM의 수와 그들의 공동 미세조정이 사전 추론의 성능 향상과 정확도에 미치는 영향는 어떠한가?
• RQ3 순차 기반 검증 대비 트리 기반 병렬 디코딩은 메모리 오버헤드에 어떤 영향을 미치는가?
• RQ4 이 프레임워크는 다양한 LLM 크기(LaMA-7B 대비 LLaMA-30B)와 샘플링 전략에 어떻게 확장되는가?
• RQ5 사전 추론이 유의미한 추론 가속화를 이룰 수 있을 정도로 생성 품질을 유지할 수 있는가?

주요 결과

• Collie는 네 대의 A10 GPU를 사용하여 LLaMA-30B에서 순차 기반 사전 추론 기준 대비 최대 2.3배 높은 처리량과 2.1배 낮은 지연 시간을 달성한다.
• 트리 기반 디코딩은 순차 기반 방법 대비 메모리 오버헤드를 감소시켜, 순차 기반 접근 방식이 메모리 제약으로 인해 처리할 수 없는 8개의 요청을 동시에 서빙할 수 있도록 한다.
• 극단적 샘플링 조건에서 Collie의 처리량은 1초당 120토큰에 도달하여 기준보다 뚜렷하게 뛰어나다.
• 사전 추론 토큰 생성에도 불구하고 높은 생성 품질을 유지하며 정확도 저하가 최소한이다.
• 다수의 공동으로 향상된 SSM을 활용함으로써 순차 기반 기준 대비 처리량은 2.3배 향상되고 지연 시간은 2.1배 감소한다.
• CDF 분석을 통해 Alpaca 데이터셋에서 극단적 및 확률적 샘플링 전략 모두에서 일관된 성능 향상이 확인되었다.

(b) Stochastic sampling.