[논문 리뷰] INT2.1: Towards Fine-Tunable Quantized Large Language Models with Error Correction through Low-Rank Adaptation

Yuji Chai, John Gkountouras외 3명|arXiv (Cornell University)|2023. 06. 13.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 소비자용 하드웨어에서 INT2 정밀도로 양자화된 대규모 언어 모델을 미세조정할 수 있도록 해주는 INT2.1을 소개한다. 이는 극도로 메모리 효율적인 미세조정(EMEF)과 저차원 오차 보정(LREC)을 결합한 방법으로, VRAM 사용량을 최대 5.6배 감소시키며, 완전 기능성 있는 INT2 LLM에서 일관된 텍스트 생성을 달성하여, 이 성능 수준에 도달한 최초의 모델이다. 모델 크기 증가율은 1.05배에 불과하다.

ABSTRACT

We introduce a method that dramatically reduces fine-tuning VRAM requirements and rectifies quantization errors in quantized Large Language Models. First, we develop an extremely memory-efficient fine-tuning (EMEF) method for quantized models using Low-Rank Adaptation (LoRA), and drawing upon it, we construct an error-correcting algorithm designed to minimize errors induced by the quantization process. Our method reduces the memory requirements by up to 5.6 times, which enables fine-tuning a 7 billion parameter Large Language Model (LLM) on consumer laptops. At the same time, we propose a Low-Rank Error Correction (LREC) method that exploits the added LoRA layers to ameliorate the gap between the quantized model and its float point counterpart. Our error correction framework leads to a fully functional INT2 quantized LLM with the capacity to generate coherent English text. To the best of our knowledge, this is the first INT2 Large Language Model that has been able to reach such a performance. The overhead of our method is merely a 1.05 times increase in model size, which translates to an effective precision of INT2.1. Also, our method readily generalizes to other quantization standards, such as INT3, INT4, and INT8, restoring their lost performance, which marks a significant milestone in the field of model quantization. The strategies delineated in this paper hold promising implications for the future development and optimization of quantized models, marking a pivotal shift in the landscape of low-resource machine learning computations.

연구 동기 및 목표

• 특히 INT2 정밀도에서 발생하는 높은 VRAM 요구량을 해결하기 위해, 양자화된 대규모 언어 모델의 미세조정을 위한 고려사항을 다루다.
• 제한된 VRAM(예: 6GB)을 가진 소비자용 노트북에서 7B 파라미터 LLM의 미세조정을 가능하게 하다.
• 특정 양자화 방식에 의존하지 않고, 저비트 양자화 모델에서 발생하는 양자화로 인한 성능 저하를 보정하기 위해.
• LoRA 파라미터를 활용해 성능을 복구하는 일반화 가능하고 파라미터 효율적인 오차 보정 메커니즘을 개발하기 위해.

제안 방법

• 양자화된 모델에 저차원 적응(Low-Rank Adaptation, LoRA)을 적용하는 극도로 메모리 효율적인 미세조정(EMEF) 프레임워크를 제안하여, 미세조정 중 VRAM 사용량을 크게 감소시킨다.
• 양자화 방식에 관계없이 작동하는 오차 보정 메커니즘인 저차원 오차 보정(LREC)을 도입하여, 부동소수점 LoRA 파라미터를 활용해 양자화로 인한 오차를 보정한다.
• EMEF와 LREC를 통합한 유일한 훈련 파이프라인을 구축하여, 모델 효율성을 유지하면서도 INT2 양자화로 인한 성능 손실을 복구한다.
• 저차원 분해 행렬(LoRA)을 동시에 미세조정 파라미터와 오차 보정 구성 요소로 사용하여, 이중 목적의 파라미터 삽입을 가능하게 한다.
• 양자화 방법에 민감하지 않게 설계하여, INT3, INT4, INT8 등 다양한 양자화 표준과 호환되도록 한다.
• 메모리 대역폭 병목 현상을 줄이기 위해 추론 및 훈련 커널을 최적화하였지만, 현재는 GPU 텐서 코어 활용도가 열악하여 제한되어 있다.

실험 결과

연구 질문

• RQ1 제한된 VRAM을 가진 소비자용 하드웨어에서 INT2 양자화된 LLM을 효율적으로 미세조정할 수 있는가?
• RQ2 LoRA 기반 파라미터는 극단적인 양자화(예: INT2)로 인한 성능 저하를 어느 정도 보정할 수 있는가?
• RQ3 재학습 없이도 다양한 양자화 수준에서 성능을 향상시킬 수 있는 양자화에 관계없는 오차 보정 메커니즘이 존재하는가?
• RQ4 저비트 미세조정에서 모델 크기 증가율, 양자화 비트 폭, 그리고 최종 성능 간의 상호 상충 관계는 어떠한가?
• RQ5 모델 크기 증가율이 1.05배 이내에서만, 완전 기능성 있고 일관된 텍스트 생성이 가능한 LLM을 INT2 정밀도로 달성할 수 있는가?

주요 결과

• EMEF 프레임워크는 7B 파라미터 LLM의 미세조정에 필요한 VRAM을 최대 5.6배 감소시켜, 6GB의 VRAM을 가진 소비자용 GPU에서도 학습이 가능하게 한다.
• LREC 방법은 극도로 낮은 비트 수준에서 퍼즐러피티(Perplexity)를 효과적으로 감소시켜, 양자화로 인한 오차로 인한 성능 저하를 크게 회복함을 입증한다.
• 제안된 INT2.1 모델는 일관된 영어 텍스트 생성을 달성하여, 대규모 스케일에서 이뤄진 최초의 기능성 있는 INT2 LLM이다.
• 모델 크기 증가율은 단지 1.05배에 불과하여, 최소한의 오버헤드로 효과적인 정밀도를 INT2.1로 달성한다.
• 프레임워크는 다양한 양자화 표준으로 일반화 가능하여, 동일한 오차 보정 메커니즘을 통해 INT3, INT4, INT8 모델의 성능을 복구한다.
• 메모리 대역폭 측면에서 이론적 우수성이 있으나, 현재의 구현은 GPU 텐서 코어 활용도가 열악하여 FP16 기준 모델보다 느리다.