[논문 리뷰] QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models

Yuhui Xu, Lingxi Xie외 7명|arXiv (Cornell University)|2023. 09. 26.

Topic Modeling인용 수 21

한 줄 요약

QA-LoRA는 적응 가중치를 함께 양자화하고 활용하여 저비트 미세조정과 배포를 가능하게 하며, PTQ를 이용한 QLoRA보다 성능이 우수하고 양자화된 추론을 유지합니다.

ABSTRACT

Recently years have witnessed a rapid development of large language models (LLMs). Despite the strong ability in many language-understanding tasks, the heavy computational burden largely restricts the application of LLMs especially when one needs to deploy them onto edge devices. In this paper, we propose a quantization-aware low-rank adaptation (QA-LoRA) algorithm. The motivation lies in the imbalanced degrees of freedom of quantization and adaptation, and the solution is to use group-wise operators which increase the degree of freedom of quantization meanwhile decreasing that of adaptation. QA-LoRA is easily implemented with a few lines of code, and it equips the original LoRA with two-fold abilities: (i) during fine-tuning, the LLM's weights are quantized (e.g., into INT4) to reduce time and memory usage; (ii) after fine-tuning, the LLM and auxiliary weights are naturally integrated into a quantized model without loss of accuracy. We apply QA-LoRA to the LLaMA and LLaMA2 model families and validate its effectiveness in different fine-tuning datasets and downstream scenarios. Code will be made available at https://github.com/yuhuixu1993/qa-lora.

연구 동기 및 목표

• 양자화와 매개변수 효율적 미세조정을 결합하여 대형 언어 모델의 훈련 비용과 추론 비용을 모두 줄이려는 동기를 제시한다.
• 적응 자유를 제약하는 동시에 양자화 자유를 늘리는 그룹 단위 양자화 전략을 제안한다.
• 저비트 양자화 가중치로 미세조정이 가능하도록 하고, 미세조정된 가중치를 양자화 모델에 다시 병합하여 효율적인 배포를 가능하게 한다.
• 다수의 데이터셋과 비트폭에서 LLaMA 및 LLaMA2 계열에 대한 적용 가능성을 입증한다.

제안 방법

• W의 각 입력 열을 L개의 그룹으로 분할하고 각 그룹을 독립적으로 양자화하는 QA-LoRA를 도입한다.
• 동일 그룹 내에서 행 벡터를 공유하여 LoRA 적응을 제약하고 적응 매개변수 수를 감소시킨다.
• 세로별(컬럼별) 스케일링/제로 팩터를 사용하여 미세조정 중 W를 저비트 표현으로 양자화하고 LoRA 항 s*A*B를 포함시킨다.
• 추가 양자화 없이 적응된 가중치를 양자화된 형태로 다시 병합한다 (W' = W~ + s*A*B).
• 표준 LoRA/QLoRA 파이프라인에 아주 몇 줄의 코드만 추가하는 PyTorch 유사 구현을 제공한다.
• 그룹 단위 양자화를 사용해 양자화와 적응 간 자유도를 균형 있게 조정하고, 낮은 비트폭에서 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 저비트 양자화로 미세조정할 때 양자화 인지 저랭크 적합이 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 그룹 단위 양자화가 미세조정 중 적응을 보상하기에 충분히 양자화의 자유도를 증가시키는가?
• RQ3 QA-LoRA가 LoRA 및 QLoRA(PTQ 여부에 관계없이)와 비교했을 때 정확도 및 추론/미세조정 속도 측면에서 어떻게 다른가?

주요 결과

• QA-LoRA는 MMLU에서 모델 규모와 미세조정 데이터셋 전반에 걸쳐 PTQ가 있는 QLoRA를 지속적으로 능가한다(제로샷/적은 샷 포함).
• INT4 양자화와 훈련 후 유지된 양자화 표현 덕분에 QA-LoRA는 QLoRA보다 더 빠른 미세조정과 추론을 달성한다.
• PTQ 없이 QLoRA와 비교했을 때, QA-LoRA는 비용이 많이 드는 PTQ 단계를 피하면서도 경쟁력 있거나 더 우수한 정확도를 유지한다.
• 비트 폭이 더 작아질 때(예: INT3 또는 INT2) 및 더 작은 기초 모델에서 더 큰 이점을 보인다.
• 이 방법은 여전히 경량이며 구현이 쉽고, 소수의 코드 변경만 필요하다.