[논문 리뷰] LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

Yixiao Li, Yifan Yu외 5명|arXiv (Cornell University)|2023. 10. 12.

Topic Modeling인용 수 18

한 줄 요약

LoftQ가 LLM을 공동 양자화하는 동시에 낮은 랭크의 LoRA 초기화를 학습하여 양자화 차이를 최소화하고, 특히 저비트에서 QLoRA보다 다운스트림 미세조정 성능이 더 우수하게 나타난다.

ABSTRACT

Quantization is an indispensable technique for serving Large Language Models (LLMs) and has recently found its way into LoRA fine-tuning. In this work we focus on the scenario where quantization and LoRA fine-tuning are applied together on a pre-trained model. In such cases it is common to observe a consistent gap in the performance on downstream tasks between full fine-tuning and quantization plus LoRA fine-tuning approach. In response, we propose LoftQ (LoRA-Fine-Tuning-aware Quantization), a novel quantization framework that simultaneously quantizes an LLM and finds a proper low-rank initialization for LoRA fine-tuning. Such an initialization alleviates the discrepancy between the quantized and full-precision model and significantly improves generalization in downstream tasks. We evaluate our method on natural language understanding, question answering, summarization, and natural language generation tasks. Experiments show that our method is highly effective and outperforms existing quantization methods, especially in the challenging 2-bit and 2/4-bit mixed precision regimes. The code is available on https://github.com/yxli2123/LoftQ.

연구 동기 및 목표

• 제한된 자원으로 LLM의 효율적인 배포를 양자화와 LoRA 미세조정을 사용해 촉진한다.
• 양자화된 가중치를 LoRA 어댑터와 맞춤화하여 전체 미세조정과 양자화+LoRA 간의 성능 차이를 해소한다.
• 원래의 고정밀 가중치와 LoftQ 표현 간의 차이를 함께 최소화하여 하류 일반화 성능을 향상시키는 방법을 제안한다.
• 여러 양자화 방식과 호환되는 양자화 프레임워크를 제공하고 NLU, QA, 요약, NLG 작업 전반에서 검증한다.

제안 방법

• LoftQ를 도입하여 고정밀 가중치를 근사하기 위해 양자화와 저랭크 근사를 교대로 수행한다.
• LoRA 어댑터를 초기화하기 위해 최소화 식 ||W - Q - AB^T||_F에서 Q, A, B를 최적화한다.
• 교대 루프를 사용한다: 잔차 (W - AB^T)를 양자화하여 Q를 얻고, 잔차의 랭크-r SVD를 계산하여 A와 B를 업데이트한다.
• q_N(·) 내에서 서로 다른 양자화기(NF4, NF2, Uniform)를 지원한다.
• T 라운드 후에는 순방향 패스용으로 lookup 기반 디퀀타이제이션으로 Q_T를 저장하고, LoRA 어댑터를 A_T, B_T로 초기화한다.

실험 결과

연구 질문

• RQ1 LoftQ가 양자화된 백본과 전체 정밀 가중치 간의 초기화 차이를 줄여 LoRA 미세조정을 개선할 수 있는가?
• RQ2 2비트 및 4비트 양자화에서 인코더 전용, 인코더-디코더, 디코더 전용 모델에서 LoftQ가 QLoRA 대비 어떻게 성능하는가?
• RQ3 도전적인 저비트 또는 혼합 정밀도 설정을 포함하여 LoftQ가 NLU, QA, 요약 및 생성 작업 전반에서 견고한가?

주요 결과

• LoftQ가 테스트된 모델, 양자화 방식, 랭크 및 작업 전반에서 일관되게 QLoRA보다 우수하다.
• 2비트 양자화에서 LoftQ는 수렴을 달성하고 QLoRA가 실패하는 여러 작업에서 상당한 이점을 얻는다(예: CoLA).
• DeBERTaV3-base 실험에서 2비트 Uniform NF2 및 NF4로 LoftQ는 MNLI 정확도를 더 높게 달성하고 QLoRA와 동등하거나 더 나은 SQuADv1.1을 보인다.
• BART-large의 경우 4비트에서 LoftQ는 풀 정밀 LoRA를 XSum에서 종종 능가하고 랭크에 걸쳐 CNN/DailyMail 결과와 일치하거나 더 우수하다.
• WikiText-2 및 GSM8K의 LLAMA-2-7b/13b에서 LoftQ는 더 나은 perplexities와 GSM8K 정확도를 보이며, 2비트에서 QLoRA가 비수렴한 사례도 포함한다.
• 전반적으로 LoftQ는 저비트 구간에서 강력한 성능을 보여주고 LoRA 미세조정을 위한 견고한 초기화를 제공한다.