[논문 리뷰] Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt

Zhaozhuo Xu, Zirui Liu외 6명|arXiv (Cornell University)|2023. 05. 17.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 재학습 없이 압축된 대규모 언어 모델(Large Language Models, LLMs)의 정확도를 향상시키기 위해 소프트 프롬프트 학습 방법을 제안한다. 이 방법은 압축 과정 중 이식 가능한 프롬프트를 학습함으로써 성능을 향상시킨다. 이 접근법을 통해 4비트 양자화와 50% 프루닝을 적용한 8배 압축된 LLaMA-7B 모델이 표준 벤치마크에서 전체 모델과 동일한 성능을 달성하며, 다양한 데이터셋, 작업, 압축 수준 간에 강력한 이식성(transferability)을 보인다.

ABSTRACT

While the numerous parameters in Large Language Models (LLMs) contribute to their superior performance, this massive scale makes them inefficient and memory-hungry. Thus, they are hard to deploy on commodity hardware, such as one single GPU. Given the memory and power constraints of such devices, model compression methods are widely employed to reduce both the model size and inference latency, which essentially trades off model quality in return for improved efficiency. Thus, optimizing this accuracy-efficiency trade-off is crucial for the LLM deployment on commodity hardware. In this paper, we introduce a new perspective to optimize this trade-off by prompting compressed models. Specifically, we first observe that for certain questions, the generation quality of a compressed LLM can be significantly improved by adding carefully designed hard prompts, though this isn't the case for all questions. Based on this observation, we propose a soft prompt learning method where we expose the compressed model to the prompt learning process, aiming to enhance the performance of prompts. Our experimental analysis suggests our soft prompt strategy greatly improves the performance of the 8x compressed LLaMA-7B model (with a joint 4-bit quantization and 50% weight pruning compression), allowing them to match their uncompressed counterparts on popular benchmarks. Also, we demonstrate that these learned prompts can be transferred across various datasets, tasks, and compression levels. Hence with this transferability, we can stitch the soft prompt to a newly compressed model to improve the test-time accuracy in an ``in-situ'' way.

연구 동기 및 목표

• 일반 하드웨어에 배포된 압축된 LLM에서 추론 효율성과 정확도 사이의 핵심적 상충 관계를 해결하기 위해.
• 수동으로 설계된 하드 프롬프트를 초월해, 학습 가능한 프롬프트가 압축된 LLM의 생성 품질을 향상시킬 수 있는지 조사하기 위해.
• 학습된 프롬프트가 다양한 데이터셋, 작업, 압축 수준(예: 희박성, 양자화 비트 폭) 간에 이식 가능한지 탐색하기 위해.
• 테스트 시점에 사전에 학습된 프롬프트를 부착함으로써 새로 압축된 모델의 정확도를 실시간으로 향상시킬 수 있는 방법을 개발하기 위해.

제안 방법

• 압축 과정 중에 압축된 LLM에서 직접 학습 가능한 프롬프트 토큰을 훈련하는 소프트 프롬프트 학습 프레임워크를 도입한다.
• 이 방법은 입력 시퀀스에 덧붙이는 프롬프트 토큰을 적용하며, 이는 경사 하강법을 통해 유의미한 작업에서의 생성 품질 향상을 위해 최적화된다.
• 프롬프트 학습은 목표 데이터셋의 훈련 세트(예: C4)에서 수행되며, 결과적으로 유도된 프롬프트는 추론 시점에 압축된 모델에 적용된다.
• 높은 효율성을 달성하기 위해 프롬프트 학습 이전에 모델 압축 기법—특히 4비트 가중치 양자화와 50% 가중치 프루닝—을 적용한다.
• 이식성은 한 압축 수준 또는 유형에서 학습된 프롬프트(예: 4비트 양자화)를 다른 압축 설정(예: 50% 희박성 또는 8비트 양자화)을 가진 모델에 적용하여 평가된다.
• 이 방법은 재학습 없이도 새로운 압축 모델에 사전에 학습된 프롬프트를 부착함으로써 '실시간' 정확도 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 프롬프트가 특히 강하게 압축된 LLM의 생성 품질을 크게 향상시킬 수 있는가?
• RQ2 압축된 모델에서 학습된 프롬프트가 다른 압축 수준이나 유형을 가진 다른 압축 모델로 효과적으로 이식 가능한가?
• RQ3 스pars리피케이션과 양자화와 같은 다수의 압축 기법을 조합할 경우, 제안된 프롬프트 학습 방법이 높은 성능을 유지하는가?
• RQ4 재학습 없이도 다양한 데이터셋과 작업에서 학습된 프롬프트가 성능 향상에 기여하는가?
• RQ5 학습된 프롬프트를 적용한 압축 모델의 성능이 전체 비압축 모델과 비교해 유사한가?

주요 결과

• 학습된 프롬프트를 적용한 8배 압축된 LLaMA-7B 모델(50% 희박성 + 4비트 양자화)은 C4 검증 세트에서 퍼플렉서티(PPL) 7.38을 기록하며, 전체 모델의 PPL 7.59와 동일한 성능을 달성한다.
• Wikitext-2에서 프롬프트가 적용된 압축 모델은 프롬프트 없이 9.67였던 PPL을 7.31로 낮추며, 전체 모델의 6.34에 가까워진다.
• PTB에서 프롬프트가 적용된 경우 PPL은 프롬프트 없이 17.39였던 것을 10.64로 낮추며, 압축 기반 모델의 성능을 크게 향상시킨다.
• 더 높은 희박성(예: 62.5%)이나 더 낮은 비트 양자화(예: 4비트)에서 학습된 프롬프트는 낮은 희박성 또는 더 높은 비트 폭을 가진 모델로도 성공적으로 이식 가능하며 성능 향상을 이룬다.
• 희박 모델에서 학습된 프롬프트는 양자화 모델로, 반대로도 이식 가능하며, 특히 낮은 압축 수준에서 압축 간 이식성이 뛰어나다.
• 이 방법은 실시간 정확도 향상을 가능하게 한다: 새로 압축된 모델은 재학습 없이도 사전에 학습된 프롬프트를 단지 부착함으로써 더 나은 테스트 시점 성능을 달성할 수 있다.