[論文レビュー] INT2.1: Towards Fine-Tunable Quantized Large Language Models with Error Correction through Low-Rank Adaptation

Yuji Chai, John Gkountouras+3 more|arXiv (Cornell University)|Jun 13, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文では、極めて記憶効率の高い微調整（EMEF）と低ランク誤差補正（LREC）を組み合わせることで、コンsumerハードウェア上でINT2量子化された大規模言語モデルの微調整を可能にするINT2.1という手法を紹介する。VRAM使用量を最大5.6倍まで削減し、完全に機能するINT2 LLMから一貫性のあるテキスト生成を達成しており、モデルサイズのオーバーヘッドが1.05倍という極めて低い水準で、この性能水準に到達した最初のモデルである。

ABSTRACT

We introduce a method that dramatically reduces fine-tuning VRAM requirements and rectifies quantization errors in quantized Large Language Models. First, we develop an extremely memory-efficient fine-tuning (EMEF) method for quantized models using Low-Rank Adaptation (LoRA), and drawing upon it, we construct an error-correcting algorithm designed to minimize errors induced by the quantization process. Our method reduces the memory requirements by up to 5.6 times, which enables fine-tuning a 7 billion parameter Large Language Model (LLM) on consumer laptops. At the same time, we propose a Low-Rank Error Correction (LREC) method that exploits the added LoRA layers to ameliorate the gap between the quantized model and its float point counterpart. Our error correction framework leads to a fully functional INT2 quantized LLM with the capacity to generate coherent English text. To the best of our knowledge, this is the first INT2 Large Language Model that has been able to reach such a performance. The overhead of our method is merely a 1.05 times increase in model size, which translates to an effective precision of INT2.1. Also, our method readily generalizes to other quantization standards, such as INT3, INT4, and INT8, restoring their lost performance, which marks a significant milestone in the field of model quantization. The strategies delineated in this paper hold promising implications for the future development and optimization of quantized models, marking a pivotal shift in the landscape of low-resource machine learning computations.

研究の動機と目的

• INT2精度における量子化された大規模言語モデルの微調整にかかるVRAMの高コストを解消すること。
• VRAMが限られたコンsumerグレードのラップトップ（例：6GB）でも7BパラメータのLLMの微調整を可能にすること。
• 特定の量子化方式に依存せずに、低ビット量子化モデルに生じる量子化由来の性能劣化を是正すること。
• 量子化方式に依存せず、LoRAパラメータを活用してモデル性能を回復させる汎用的かつパラメータ効率の良い誤差補正メカニズムを開発すること。

提案手法

• 量子化モデルに低ランク適応（LoRA）を適用する極めて記憶効率の高い微調整（EMEF）フレームワークを提案し、微調整中のVRAM使用量を著しく削減する。
• 浮動小数点LoRAパラメータを用いて量子化由来の誤差を補正する、量子化に依存しない誤差補正メカニズム「低ランク誤差補正（LREC）」を導入する。
• EMEFとLRECを統合した一貫性のあるトレーニングパイプラインを構築し、モデル効率を維持しながらINT2量子化による性能損失を回復する。
• 低ランク分解行列（LoRA）を微調整パラメータおよび誤差補正コンponentsの両方として使用し、二重目的のパラメータインジェクションを実現する。
• 量子化手法に依存しない設計により、INT3、INT4、INT8などさまざまな量子化基準と互換性を持たせる。
• メモリバンド幅のボトルネックを低減するため、推論およびトレーニングカーネルを最適化するが、現在の実装ではGPUテンソルコアの効率的利用が不十分である。

実験結果

リサーチクエスチョン

• RQ1 限られたVRAMを備えたコンsumerグレードのハードウェア上でも、INT2量子化されたLLMを効率的に微調整できるか？
• RQ2 LoRAベースのパラメータは、極めて低い量子化（例：INT2）によって引き起こされる性能劣化をどの程度是正できるか？
• RQ3 再トレーニングなしで、さまざまな量子化レベルにわたって性能を向上させる、量子化に依存しない誤差補正メカニズムは存在するか？
• RQ4 低ビット微調整において、モデルサイズの増加、量子化ビット幅、および下流性能の間にはどのようなトレードオフがあるか？
• RQ5 モデルサイズのオーバーヘッドが1.05倍であるだけの条件下で、完全に機能し、一貫性のあるテキスト生成が可能なINT2精度のLLMを実現できるか？

主な発見

• EMEFフレームワークにより、7BパラメータのLLMの微調整にかかるVRAM要件を最大5.6倍まで削減でき、6GBのVRAMを備えたコンsumer GPUでもトレーニングが可能になった。
• LREC手法は、極めて低いビット幅の状況下でもパープレキシティを顕著に低減し、量子化由来の誤差による性能劣化の回復を明確に示した。
• 提案されたINT2.1モデルは、一貫性のある英語テキスト生成を達成しており、大規模スケールでこの達成を初めて実現した機能的なINT2 LLMである。
• モデルサイズの増加はたったの1.05倍であり、最小限のオーバーヘッドで効果的なINT2.1精度を実現した。
• フレームワークは量子化基準に一般化可能であり、同じ誤差補正メカニズムでINT3、INT4、INT8モデルの性能回復を達成した。
• 理論的にはメモリバンド幅に優位性があるが、現在の実装ではGPUテンソルコアの効率的利用が不十分なため、FP16ベースラインよりも遅くなっている。