[論文レビュー] PB-LLM: Partially Binarized Large Language Models

Yuzhang Shang, Zhihang Yuan+2 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、顕著な重みを高精度で保持することで、極めて低い1ビット量子化下でも高い言語的推論能力を維持する部分的バイナリ化された大規模言語モデルPB-LLMを提案する。後期学習量子化（PTQ）におけるヘッシアン指導致の再構成と、量子化に適応した学習（QAT）における導出されたスケーリング戦略を組み合わせることで、PB-LLMは4ビットで最先端の性能を達成し、完全な1ビットLLMの強力な可能性を示している。

ABSTRACT

This paper explores network binarization, a radical form of quantization, compressing model weights to a single bit, specifically for Large Language Models (LLMs) compression. Due to previous binarization methods collapsing LLMs, we propose a novel approach, Partially-Binarized LLM (PB-LLM), which can achieve extreme low-bit quantization while maintaining the linguistic reasoning capacity of quantized LLMs. Specifically, our exploration first uncovers the ineffectiveness of naive applications of existing binarization algorithms and highlights the imperative role of salient weights in achieving low-bit quantization. Thus, PB-LLM filters a small ratio of salient weights during binarization, allocating them to higher-bit storage, i.e., partially-binarization. PB-LLM is extended to recover the capacities of quantized LMMs, by analyzing from the perspective of post-training quantization (PTQ) and quantization-aware training (QAT). Under PTQ, combining the concepts from GPTQ, we reconstruct the binarized weight matrix guided by the Hessian matrix and successfully recover the reasoning capacity of PB-LLM in low-bit. Under QAT, we freeze the salient weights during training, explore the derivation of optimal scaling factors crucial for minimizing the quantization error, and propose a scaling mechanism based on this derived scaling strategy for residual binarized weights. Those explorations and the developed methodologies significantly contribute to rejuvenating the performance of low-bit quantized LLMs and present substantial advancements in the field of network binarization for LLMs.The code is available at https://github.com/hahnyuan/BinaryLLM.

研究の動機と目的

• 極めて低いビット幅での量子化下において、単純なバイナリ化がLLMの推論能力を維持できない問題に対処すること。
• 顕著な重みが大規模言語モデルの効果的な低ビット量子化に果たす役割を調査すること。
• モデル圧縮と性能の維持の両立を図る部分的バイナリ化フレームワークの開発。
• 高度な後期学習量子化（PTQ）と量子化に適応した学習（QAT）技術を用いて、量子化されたLLMの推論能力を回復すること。
• 言語的推論性能を維持しつつ、1ビットLLMの効率的な学習とデプロイを可能にすること。

提案手法

• 顕著な重みの小さな割合を高ビット精度で保存し、残りの重みをバイナリ化する部分的バイナリ化LLM（PB-LLM）を導入する。
• GPTQにインspiredして、後期学習量子化（PTQ）におけるヘッシアン行列指導致の再構成を適用し、性能を回復する。
• バイナリ化された重みの最適なスケーリング係数を導出し、量子化誤差を最小化する。これにより、QATにおける効果的なスケーリングが可能になる。
• QAT中に顕著な重みを凍結することで、その整合性を維持し、学習の安定性を向上させる。
• 顕著な重みの保存と適応的スケーリングを組み合わせたハイブリッドアプローチを採用し、圧縮と性能のバランスを取る。
• 効率的なQATを実現するため、AdamW最適化関数とコサイン減衰を用いた10Kイテレーションのファインチューニングスケジュールを採用する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なバイナリ化手法がLLMに直接適用された場合に失敗するのか？
• RQ2 顕著な重みが大規模言語モデルの効果的な低ビット量子化に果たす役割は何か？
• RQ3 極めて低いビット幅で量子化されたLLMにおいて、どのようにして推論能力を回復できるか？
• RQ4 QAT下でバイナリ化されたLLMの量子化誤差を最小化する最適なスケーリング戦略は何か？
• RQ5 PB-LLMは、最小限のファインチューニングで4ビットおよびほぼ1ビットレベルで競争力のある性能を達成できるか？

主な発見

• PB-LLM 30%（顕著な重みの30%を保持）は、一般的な常識的推論タスクで平均ゼロショット精度66.9を達成し、同じ4ビット設定下でLLM-QATを上回る性能を示した。
• PB-LLM 10%は平均ゼロショット精度60.6を達成し、高精度で保持される重みがわずか10%であるにもかかわらず、1ビットLLMの強力な可能性を示した。
• PB-LLMはQAT下でわずか10Kイテレーションで収束した。これは、100Kイテレーションを要したLLM-QATと比べて著しく高速である。
• PB-GPTQ 50%（顕著な重みの50%を保持）ではC4上でのパープレキシティが8.1466に低下し、性能損失を管理しつつ効果的な圧縮が実現された。
• 10%の顕著な重みを保持するPB-GPTQでは、C4上でのパープレキシティが72.1115に急激に低下し、十分な顕著な重みの保持が不可欠であることが浮き彫りになった。
• QATにおける導出されたスケーリング戦略は、量子化誤差を効果的に最小化し、極めて激しいバイナリ化下でも高い性能を実現できた。