[논문 리뷰] SqueezeLLM: Dense-and-Sparse Quantization

Sehoon Kim, Coleman Hooper외 6명|arXiv (Cornell University)|2023. 06. 13.

Topic Modeling인용 수 23

한 줄 요약

SqueezeLLM은 감도 기반 비균등 양자화와 Dense-and-Sparse 분해를 도입하여 성능 저하를 최소화하고 주목할 만한 속도 향상을 보이는 ultra-low-bit(post-training quantization) 양자화를 LLM에 적용한다. 단일 배치 생성 추론에서 메모리-대역폭 병목을 해소한다.

ABSTRACT

Generative Large Language Models (LLMs) have demonstrated remarkable results for a wide range of tasks. However, deploying these models for inference has been a significant challenge due to their unprecedented resource requirements. This has forced existing deployment frameworks to use multi-GPU inference pipelines, which are often complex and costly, or to use smaller and less performant models. In this work, we demonstrate that the main bottleneck for generative inference with LLMs is memory bandwidth, rather than compute, specifically for single batch inference. While quantization has emerged as a promising solution by representing weights with reduced precision, previous efforts have often resulted in notable performance degradation. To address this, we introduce SqueezeLLM, a post-training quantization framework that not only enables lossless compression to ultra-low precisions of up to 3-bit, but also achieves higher quantization performance under the same memory constraint. Our framework incorporates two novel ideas: (i) sensitivity-based non-uniform quantization, which searches for the optimal bit precision assignment based on second-order information; and (ii) the Dense-and-Sparse decomposition that stores outliers and sensitive weight values in an efficient sparse format. When applied to the LLaMA models, our 3-bit quantization significantly reduces the perplexity gap from the FP16 baseline by up to 2.1x as compared to the state-of-the-art methods with the same memory requirement. Furthermore, when deployed on an A6000 GPU, our quantized models achieve up to 2.3x speedup compared to the baseline. Our code is available at https://github.com/SqueezeAILab/SqueezeLLM.

연구 동기 및 목표

• 단일 배치 LLM 추론에서 메모리 대역폭을 주요 병목 현상으로 식별하고 양자화 전략에 미치는 영향을 정량화한다.
• 생성 품질의 손실이 거의 없는 ultra-low precision을 달성하는 훈련 후 양자화 프레임워크를 개발한다.
• 민감한 가중치 값 주위에 양자화 구간을 배치하기 위한 감도 기반 비균등 양자화 방법을 제안한다.
• 효율적인 희소 표현을 위해 이상치와 민감한 가중치를 따로 저장하는 Dense-and-Sparse 분해를 도입한다.
• 다양한 LLaMA 기반 모델과 벤치마크에서 perplexity, 모델 크기, 대기시간에서의 성능 향상을 입증한다.

제안 방법

• 감도 기반 비균등 양자화로, 2차(피셔 정보) 가이던스에 의해 가중된 k-평균 목적함수를 사용해 민감한 가중치 근처에 양자화 중심점을 배치한다.
• 대각 피셔 정보 행렬을 통한 해시안의 근사를 이용해 양자화 목적함수에서 가중치 섭동에 가중치를 부여한다.
• W = D + S로 Dense-and-Sparse 분해를 사용해 조밀한 가중치와 이상치를 구분하고, S를 희소 형식으로 저장하며 D는 축소된 범위로 양자화한다.
• LLaMA, LLaMA-2, OPT, Vicuna 모델을 C4, WikiText2, MMLU, Vicuna 벤치마크에서 평가하고 RTN, GPTQ, AWQ, SpQR과의 비교를 수행한다.
• GPU 지향 Dense-and-Sparse 커널은 FP16 산술로 LUT 기반 3/4비트 양자화를 사용하며, CSR 기반 희소 곱을 통해 이상치를 활용한다.

실험 결과

연구 질문

• RQ1 생성 과제에서 엔드 투 엔드 성능을 손상시키지 않으면서 LLM 가중치를 ultra-low 비트 정밀도(예: 3비트)까지 양자화할 수 있는 한계는 어디인가?
• RQ2 피셔 정보에 의해 최종 손실에 강하게 영향을 미치는 가중치 값 근처에 양자화 중심점을 배치하는 것이 Uniform 또는 순진한 비균등 방법보다 엔드 투 엔드 양자화 성능을 개선하는가?
• RQ3 Dense-and-Sparse 분해가 이상치와 고감도 가중치를 효과적으로 분리하여 더 작은 모델과 더 빠른 추론을 가능하게 할 수 있는가?
• RQ4 실제 하드웨어(A6000 등)에서 기존 PTQ 방법과 비교해 SqueezeLLM의 실용적 대기 시간(latency) 및 메모리 대역폭 이점은 무엇인가?
• RQ5 제안된 방법이 지시 따르기 및 도메인 지식 벤치마크(예: MMLU, Vicuna) 및 더 큰 모델 패밀리에 일반화되는가?

주요 결과

• 3-bit SqueezeLLM은 같은 메모리 예산에서 FP16 기준선의 퍼플렉시티 차이를 최대 2.1배까지 줄인다(최신 방법과 비교).
• Dense-and-Sparse 분해는 전체 가중치의 약 0.45%를 희소/이상치로 제거하여 추가 퍼플렉시티 개선을 가져오며(예: C4에서 LLaMA-7B의 7.75에서 7.58로).
• A6000 GPU에서 SqueezeLLM은 생성된 토큰에 대해 FP16 대비 최대 2.4배의 대기 시간 속도 향상을 달성하며, 그룹화된 GPTQ/AWQ 설정과 비교해 메모리 사용이 경쟁력 있거나 더 낫다.
• 지시 따르기 모델(Vicuna)에서 제로샷 MMLU의 경우, 3-bit SqueezeLLM은 AWQ를 능가하고 4-bit 양자화로 FP16 정확도를 유지하며; 5-shot 결과에서도 강건성이 향상된다.
• LLaMA 및 더 큰 모델(13B, 30B, 65B) 전반에 걸쳐 비슷한 모델 크기와 비트 폭에서 SqueezeLLM은 일관되게 GPTQ 및 AWQ보다 퍼플렉시티가 우수하다.
• Dense-only(0% 희소성) SqueezeLLM은 이미 4비트에서 FP16 성능에 근접하고 3비트에서 상당한 이점을 보여주며 가중치 양자화의 메모리-bound 추론 이점을 강조한다.