[논문 리뷰] Sparse Fine-tuning for Inference Acceleration of Large Language Models

Eldar Kurtic, Denis Kuznedelev외 3명|arXiv (Cornell University)|2023. 10. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 위한 희소 미세조정 프레임워크를 제안하며, 새로운 L2 기반 지식 정착 방법인 SquareHead와 반복적 프루닝을 결합하여 극한의 희소성 수준(최대 75%)에서도 높은 정확도를 유지한다. 이 방법은 정확도를 유지하면서도 CPU 기준 최대 9.08배, GPU 기준 최대 7.49배의 엔드투엔드 추론 속도 향상을 이끌어내며, 양자화와의 호환성을 통해 CPU 및 GPU 워크로드에서 추가적인 성능 향상을 가능하게 한다.

ABSTRACT

We consider the problem of accurate sparse fine-tuning of large language models (LLMs), that is, fine-tuning pretrained LLMs on specialized tasks, while inducing sparsity in their weights. On the accuracy side, we observe that standard loss-based fine-tuning may fail to recover accuracy, especially at high sparsities. To address this, we perform a detailed study of distillation-type losses, determining an L2-based distillation approach we term SquareHead which enables accurate recovery even at higher sparsities, across all model types. On the practical efficiency side, we show that sparse LLMs can be executed with speedups by taking advantage of sparsity, for both CPU and GPU runtimes. While the standard approach is to leverage sparsity for computational reduction, we observe that in the case of memory-bound LLMs sparsity can also be leveraged for reducing memory bandwidth. We exhibit end-to-end results showing speedups due to sparsity, while recovering accuracy, on T5 (language translation), Whisper (speech translation), and open GPT-type (MPT for text generation). For MPT text generation, we show for the first time that sparse fine-tuning can reach 75% sparsity without accuracy drops, provide notable end-to-end speedups for both CPU and GPU inference, and highlight that sparsity is also compatible with quantization approaches. Models and software for reproducing our results are provided in Section 6.

연구 동기 및 목표

• 희소성 수준이 높을수록 모델 정확도를 유지하는 데 도전하는 대규모 언어 모델의 희소 미세조정 문제를 해결한다.
• 제한된 미세조정 데이터와 모델의 복잡성으로 인한 훈련 불안정성 및 정확도 복구 실패 문제를 해결한다.
• 희소성이 계산 감소 외에도 메모리 집약적인 LLM 추론 환경에서 메모리 대역폭을 줄이는 데 효과적으로 활용될 수 있음을 보여준다.
• 희소성과 양자화의 호환성을 입증하여 CPU 및 GPU 하드웨어에서 복합적인 속도 향상을 가능하게 한다.
• 다양한 LLM 응용 분야에서의 활용과 확장성을 고려해 재현 가능한 코드와 모델을 제공한다.

제안 방법

• 다음 작업에 대해 훈련 중에 반복적 프루닝을 적용하여 점차적으로 희소성을 증가시키며 모델을 재학습한다.
• 밀도 있는 테이처 모델에서 출력 로짓과 중간 히든 표현을 희소한 스터디 모델로 정착시키는, 토큰 단위의 ℓ₂ 기반 지식 정착 손실인 SquareHead를 도입한다.
• 각 레이어에서 테이처와 스터디 활성화 간의 L2 차이를 최소화하는 정착 손실을 사용하여, 희소 미세조정 중 일반화 능력과 안정성을 향상시킨다.
• 희소 GEMM 커널을 통해 CPU 추론 속도 향상을 위해 DeepSparse 추론 런타임을 활용한다.
• GPU에서 효율적인 희소 추론을 가능하게 하기 위해 GPU 기반 N:M 희소 형식을 구현하며, 희소성과 양자화(INT8)를 결합한다.
• 희소 모델에 대해 훈련 후 양자화를 적용하고, 희소성과 양자화의 병합 효과가 정확도와 지연 시간에 미치는 영향을 평가한다.

Figure 1 : Speedups for sparse CPU and GPU kernels on an MPT-7B layer.

실험 결과

연구 질문

• RQ1 제한된 미세조정 데이터와 높은 희소성 수준에서 희소 미세조정이 대규모 언어 모델의 정확도를 유지할 수 있는가?
• RQ2 특히 SquareHead와 같은 지식 정착 기법이 기존의 교차 엔트로피 및 KL 기반 정착 기법과 비교해 희소 미세조정 중 정확도 유지에 얼마나 효과적인가?
• RQ3 메모리 집약적인 LLM 추론 워크로드에서 희소성이 얼마나 메모리 대역폭 압박을 줄일 수 있는가?
• RQ4 희소성과 양자화를 동시에 적용하여 정확도 저하 없이 더 큰 추론 속도 향상을 달성할 수 있는가?
• RQ5 번역, 음성 인식, 추론 등 다양한 LLM 응용 분야에서 희소 미세조정의 엔드투엔드 속도 향상과 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• SquareHead 정착 기법은 75%의 희소성 수준에서도 모델 성능을 정확하게 복원할 수 있으며, 희소 MPT-7B 모델은 GSM8K에서 28.6%의 테스트 정확도를 기록했고, 이는 밀도 있는 FP32 기준 28.2% 대비 1.6%의 하락에 그친다.
• 60% 희소성 INT8 MPT-7B 모델은 단일 코어 AMD Ryzen 9 7950X에서 6.7배의 속도 향상을 달성했으며, 80% 희소성 INT8 모델는 9.08배의 속도 향상을 기록했고, 정확도는 7% 하락했다.
• CPU 환경에서 70% 희소성 MPT-7B 모델은 4코어에서 21.1 토큰/초의 속도로 7.49배의 속도 향상을 달성했으며, 이는 희소성 자체만으로도 상당한 성능 향상을 이끌 수 있음을 보여준다.
• SquareHead KD를 적용한 희소 미세조정 MPT-7B 모델은 밀도 기반 기준보다 뛰어난 성능을 보이며, GSM8K에서 33.0%의 정확도를 기록했고, 이는 정착 기법이 일반화 능력을 향상시킨다는 것을 시사한다.
• 희소성은 메모리 집약적인 생성 모델에서 메모리 대역폭 압박을 줄이며, 계산이 버티스트가 아닌 CPU 시스템에서도 속도 향상을 가능하게 한다.
• 이 방법은 FP32 및 INT8 양자화와 모두 호환되며, 희소성과 양자화의 병합은 CPU 및 GPU 모두에서 복합적인 성능 향상을 이끌어낸다.

Figure 2 : BLEU ( $\uparrow$ ) score for variants of loss functions on English-German WMT14 and T5-Small at various compression rates.