[論文レビュー] LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

Yixiao Li, Yifan Yu+5 more|arXiv (Cornell University)|Oct 12, 2023

Topic Modeling被引用数 18

ひとこと要約

LoftQ は LLM を同時に量子化しつつ、量子化の齟齬を最小化する低ランクの LoRA 初期化を学習し、低ビットレベルで特に QLoRA よりも下流のファインチューニング性能を向上させる。

ABSTRACT

Quantization is an indispensable technique for serving Large Language Models (LLMs) and has recently found its way into LoRA fine-tuning. In this work we focus on the scenario where quantization and LoRA fine-tuning are applied together on a pre-trained model. In such cases it is common to observe a consistent gap in the performance on downstream tasks between full fine-tuning and quantization plus LoRA fine-tuning approach. In response, we propose LoftQ (LoRA-Fine-Tuning-aware Quantization), a novel quantization framework that simultaneously quantizes an LLM and finds a proper low-rank initialization for LoRA fine-tuning. Such an initialization alleviates the discrepancy between the quantized and full-precision model and significantly improves generalization in downstream tasks. We evaluate our method on natural language understanding, question answering, summarization, and natural language generation tasks. Experiments show that our method is highly effective and outperforms existing quantization methods, especially in the challenging 2-bit and 2/4-bit mixed precision regimes. The code is available on https://github.com/yxli2123/LoftQ.

研究の動機と目的

• 量子化と LoRA ファインチューニングを用いて、リソースが限られた状況で LLM の効率的なデプロイを動機づける。
• 完全ファインチューニングと量子化＋LoRA の性能ギャップを、量子化された重みと LoRA アダプタを揃えることで是正する。
• 元の高精度ウェイトと LoftQ 表現との差を共同で最小化する方法を提案し、下流の汎化性能を向上させる。
• 複数の量子化方式に対応する量子化フレームワークを提供し、NLU、QA、要約、NLG タスクで評価・検証する。

提案手法

• LoftQ を導入し、量子化と低ランク近似を交互に行って高精度ウェイトを近似する。
• LoRA アダプタを初期化するために min ||W - Q - AB^T||_F で Q, A, B を最適化する。
• 交互ループを用いる：残差 (W - AB^T) を量子化して Q を得る。次に残差の秩 r の SVD を計算して A と B を更新する。
• q_N(·) 内で異なる量子化器（NF4、NF2、Uniform）をサポートする。
• T 回の後、フォワードパス用のルックアップベースのデ量子化で Q_T を保存し、LoRA アダプタを A_T, B_T で初期化する。

実験結果

リサーチクエスチョン

• RQ1 LoftQ は量子化されたバックボーンと完全精度のウェイトとの初期化のずれを低減して LoRA ファインチューニングを改善できるか？
• RQ2 2-bit および 4-bit 量子化の下で、エンコーダ専用/エンコーダ-デコーダ/デコーダ専用モデルに対して LoftQ は QLoRA とどう比較されるか？
• RQ3 LoftQ は NLU、QA、要約、生成タスク全般で、低ビットや混合精度設定を含む難易度の高い条件でも堅牢か？

主な発見

• LoftQ は、検証したモデル、量子化スキーム、ランク、およびタスク全般において一貫して QLoRA を上回る。
• 2-bit 量子化では、LoftQ は収束を達成し、QLoRA が失敗するいくつかのタスク（例：CoLA）で顕著な改善をもたらす。
• DeBERTaV3-base の実験で 2-bit Uniform NF2 および NF4 の場合、LoftQ は MNLI 精度が高く、SQuADv1.1 は QLoRA と同等かそれ以上である。
• BART-large では、4-bit の LoftQ が XSum で完全精度の LoRA を上回ることが多く、ランクを問わず CNN/DailyMail の結果と同等または上回る。
• WikiText-2 および GSM8K の LLAMA-2-7b/13b では、LoftQ はペルプレキシティと GSM8K の精度を改善し、2-bit で QLoRA が収束しないケースも含む。
• 総じて、LoftQ は低ビット領域で強力な性能を示し、LoRA ファインチューニングの堅牢な初期化を提供する。