[論文レビュー] QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models

Yuhui Xu, Lingxi Xie+7 more|arXiv (Cornell University)|Sep 26, 2023

Topic Modeling被引用数 21

ひとこと要約

QA-LoRA は適応ウェイトを同時に量子化して低ビットのファインチューニングとデプロイを可能にし、量子化推論を維持しつつ PTQ を用いた QLoRA を上回る。

ABSTRACT

Recently years have witnessed a rapid development of large language models (LLMs). Despite the strong ability in many language-understanding tasks, the heavy computational burden largely restricts the application of LLMs especially when one needs to deploy them onto edge devices. In this paper, we propose a quantization-aware low-rank adaptation (QA-LoRA) algorithm. The motivation lies in the imbalanced degrees of freedom of quantization and adaptation, and the solution is to use group-wise operators which increase the degree of freedom of quantization meanwhile decreasing that of adaptation. QA-LoRA is easily implemented with a few lines of code, and it equips the original LoRA with two-fold abilities: (i) during fine-tuning, the LLM's weights are quantized (e.g., into INT4) to reduce time and memory usage; (ii) after fine-tuning, the LLM and auxiliary weights are naturally integrated into a quantized model without loss of accuracy. We apply QA-LoRA to the LLaMA and LLaMA2 model families and validate its effectiveness in different fine-tuning datasets and downstream scenarios. Code will be made available at https://github.com/yuhuixu1993/qa-lora.

研究の動機と目的

• 量子化とパラメータ効率のファインチューニングを組み合わせることで、大規模言語モデルの学習コストと推論コストの削減を動機づける。
• 量子化の自由度を高めつつ適応の自由度を制約する、グループ単位の量子化戦略を提案する。
• 低ビット量子化されたウェイトでファインチューニングを可能にし、ファインチューン済みのウェイトを再度量子化済みモデルへ統合して効率的なデプロイを実現する。
• LLaMA および LLaMA2 ファミリに対して、複数のデータセットとビット幅で適用性を実証する。

提案手法

• QA-LoRA を導入し、W の各入力列を L 個のグループに分割し、それぞれのグループを独立に量子化する。
• 同じグループ内で行ベクトルを共有して LoRA の適応を制約し、適応パラメータ数を削減する。
• ファインチューニング中に列ごとのスケーリング/ゼロ因子を用いて W を低ビット表現に量子化しつつ、LoRA 項 s*A*B を組み込む。
• 適応後のウェイトを再び量子化形態へマージする（W' = W~ + s*A*B）、ポストトレーニング量子化を必要としない。
• 標準の LoRA/QLoRA パイプラインに数行のコードを追加するだけの PyTorch 風実装を提供する。
• グループ別量子化を用いて量子化と適応の自由度のバランスを取り、低ビット幅で精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 低ビット量子化でファインチューニングを行うとき、量子化対応の低ランク適応は精度を維持または向上させることができるか？
• RQ2 グループ別量子化は、ファインチューニング中の適応を補うのに十分な量子化の自由度を高めるか？
• RQ3 モデルスケールとデータセット全体で、精度と推論/ファインチューニング速度の観点から、QA-LoRA は LoRA および QLoRA（PTQ の有無を問わず）とどのように比較されるか？

主な発見

• QA-LoRA は MMLU およびゼロショット/少数ショット設定で、モデルスケールとファインチューニングデータセットを通じて、一貫して PTQ を用いた QLoRA を上回る。
• INT4 量子化と訓練後も量子化表現を維持することで、QA-LoRA は QLoRA よりファインチューニングと推論を高速化する。
• PTQ なしの QLoRA と比較して、QA-LoRA は競争力のあるまたは優れた精度を維持しつつ、コストの高い PTQ ステップを回避する。
• ビット幅が低い場合（例: INT3 や INT2）および小さなファンデーションモデルで、QA-LoRA はより大きな利得を示す。
• 本手法は軽量で実装が容易で、コード変更はわずか数行にとどまる。