[論文レビュー] Boosting Entropy with Bell Box Quantization

Ningfeng Yang, Tor M. Aamodt|arXiv (Cornell University)|Mar 2, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

BBQは、入力ドメインでITOを実行し、計算に優しい出力ドメインへ写像することで計算効率を保ちつつ情報理論的に最適な初の情報理論上最適(ITO)量子化であり、QAPT設定で低ビット量子化の perplexity を改善する。

ABSTRACT

Quantization-Aware Pre-Training (QAPT) is an effective technique to reduce the compute and memory overhead of Deep Neural Networks while improving their energy efficiency on edge devices. Existing QAPT methods produce models stored in compute-efficient data types (e.g. integers) that are not information theoretically optimal (ITO). On the other hand, existing ITO data types (e.g. Quantile/NormalFloat Quantization) are not compute-efficient. We propose BBQ, the first ITO quantization method that is also compute-efficient. BBQ builds on our key insight that since learning is domain-agnostic, the output of a quantizer does not need to reside in the same domain as its input. BBQ performs ITO quantization in its input domain, and returns its output in a compute-efficient domain where ITO data types are mapped to compute-efficient data types. Without sacrificing compute efficiency, BBQ outperforms prior SOTA QAPT methods by a perplexity reduction of up to 2 points for 4-bit models, up to 4 points for 3-bit models, up to 5 points for 2-bit models, and up to 18 points for 1-bit models. Code is available at https://github.com/1733116199/bbq.

研究の動機と目的

• エッジデバイス向けのQuantization-Aware Pre-Training (QAPT)における情報利用率の向上の必要性を動機づける。
• 計算効率を維持しつつエントロピーを最大化するためのBell Box Quantization (BBQ)を提案する。
• LLaMA/GPTモデルにおける1–4ビット精度での perplexity において、最先端のQAPT手法（QuEST、LSQ）よりBBQの優位性を示す。
• 訓練中のエントロピー測定を通じた学習容量の利用分析を提供する。
• QAFT/PTQ文脈におけるBBQの制限と今後の方向性を議論する。

提案手法

• Hadamard変換と RMS正規化を用いて入力ドメインで量子化し、データをガウシアン化する。
• エントロピーを最大化するために確率積分変換（ガウスCDF）を適用し、bビットの一様量子化を前提とする。
• 学習可能なスケーリング因子を用いて脱量子化し、低精度な行列演算に適した計算効率の高いドメインへ写像する。
• 精度間の訓練安定性を保つために勾配スケーリングを伴う学習可能なγパラメータを提供する。
• 活性化正規化時のEMAベーススケーリングにより同一の perplexity を維持しつつ推論を高速化するBBQ-Fast変種をオプションで含める。

Weights or Activations

実験結果

リサーチクエスチョン

• RQ1 ITO量子化は、出力を計算効率の良いドメインへ写像した場合、QAPT中に非ITO手法を上回るか。
• RQ2 BBQは大規模言語モデルにおいて1–4ビット精度でQuESTおよびLSQより高いエントロピー利用と低 perplexity を提供するか。
• RQ3 Hadamard変換、PIT/Φ、学習可能なγ初期化はBBQの性能と訓練安定性にどのように影響するか。
• RQ4 FP16およびNF4のベースラインと比較した場合、推論時のBBQの遅延とスループットへの影響はどうなるか。
• RQ5 QAFTとQAPTまたはPTQに適用した場合のBBQの限界は何か。

主な発見

• BBQは報告された実験で、同じ精度でQuESTおよびLSQより一貫して高いエントロピーと低い perplexity を達成した。
• BBQはトレーニング初期に2ビット重みの理論的最大エントロピーに到達し、訓練を通じてエントロピーを適応させることができ、学習容量の利用が向上していることを示す。
• BBQ-Fastは活性化正規化のオーバーヘッドを低減し、perplexityの損失がほとんどなく、BBQと同等の性能を維持しつつ推論速度を向上させる。
• BBQを用いたエンドツーエンドのLLaMA推論は、評価設定でFP16より約40%、NF4より約48%の明示的な速度向上を示し、追加の活性化量子化ステップにも関わらず高性能を維持している。
• 特化事例（例：1ビット）では、BBQはQuESTのクリッピングよりΦベースの変換の方が滑らかであり、perplexityの低下に寄与している。
• エントロピーは量子化モデルの予測品質と学習容量の有用な代理指標として観察される。

(a) HT & RMS