[논문 리뷰] Boosting Entropy with Bell Box Quantization

Ningfeng Yang, Tor M. Aamodt|arXiv (Cornell University)|2026. 03. 02.

Advanced Neural Network Applications인용 수 0

한 줄 요약

BBQ는 입력 도메인에서 ITO를 수행하고 계산 친화적인 출력 도메인으로 매핑함으로써 계산 효율성을 유지하는 최초의 정보 이론적으로 최적화된(ITO) 양자화로, QAPT 설정에서 저비트 양자화 전반의 perplexity를 개선합니다.

ABSTRACT

Quantization-Aware Pre-Training (QAPT) is an effective technique to reduce the compute and memory overhead of Deep Neural Networks while improving their energy efficiency on edge devices. Existing QAPT methods produce models stored in compute-efficient data types (e.g. integers) that are not information theoretically optimal (ITO). On the other hand, existing ITO data types (e.g. Quantile/NormalFloat Quantization) are not compute-efficient. We propose BBQ, the first ITO quantization method that is also compute-efficient. BBQ builds on our key insight that since learning is domain-agnostic, the output of a quantizer does not need to reside in the same domain as its input. BBQ performs ITO quantization in its input domain, and returns its output in a compute-efficient domain where ITO data types are mapped to compute-efficient data types. Without sacrificing compute efficiency, BBQ outperforms prior SOTA QAPT methods by a perplexity reduction of up to 2 points for 4-bit models, up to 4 points for 3-bit models, up to 5 points for 2-bit models, and up to 18 points for 1-bit models. Code is available at https://github.com/1733116199/bbq.

연구 동기 및 목표

• Quantization-Aware Pre-Training (QAPT)에서 엣지 디바이스를 위한 정보 활용을 높일 필요성에 대한 동기 부여.
• Entropy를 최대화하면서 계산 효율성을 보존하기 위해 Bell Box Quantization (BBQ) 제안.
• LLaMA/GPT 모델에서 1–4비트 정밀도에 대해 QAPT의 최첨단 방법(QuEST, LSQ)을 능가하는 BBQ의 혼란도 및 perplexity 우수성 시연.
• 훈련 중 엔트로피 측정을 통한 학습 용량 활용 분석 제공.
• QAFT/PTQ 맥락에서 BBQ의 한계점 및 향후 방향 논의

제안 방법

• 입력 도메인에서 Hadamard 변환과 RMS 정규화를 사용하여 데이터를 Gaussianize합니다.
• 확률적 적분 변환(PIT/Gaussian CDF)을 적용하여 정규화 전에 엔트로피를 최대화한 다음 b 비트의 균등 양자화를 수행합니다.
• 학습 가능한 스케일링 계수로 비정밀 도메인으로 매핑하여 저정밀 행렬 연산에 적합한 계산 효율적 도메인으로 디퀀타이즈합니다.
• 다양한 정밀도에서 학습을 안정시키기 위한 그래디언트 스케일링을 갖는 학습 가능한 감마 매개변수를 제공합니다.
• Activation 정규화 중 EMA 기반 스케일링으로 같은 perplexity를 유지하면서 더 빠른 추론을 가능하게 하는 BBQ-Fast 변형을 선택적으로 포함합니다.

Weights or Activations

실험 결과

연구 질문

• RQ1 ITO 양자화가 출력이 계산 효율적 도메인으로 매핑될 때 Quantization-Aware Pre-Training(QAPT) 중 비ITO 방법을 능가할 수 있나요?
• RQ2 BBQ가 1–4비트 정밀도에서 QuEST 및 LSQ보다 더 높은 엔트로피 활용도와 더 낮은 perplexity를 제공하나요?
• RQ3 Hadamard 변환, PIT/Φ, 학습 가능한 감마 초기화가 BBQ의 성능 및 학습 안정성에 어떤 영향을 미치나요?
• RQ4 FP16 및 NF4 베이스라인과 비교할 때 BBQ의 추론 시 대기시간(latency) 및 처리량(throughput)은 어떠한가요?
• RQ5 QAFT와 QAPT 또는 PTQ에 BBQ를 적용할 때의 한계점은 무엇인가요?

주요 결과

• BBQ는 보고된 실험에서 동일한 정밀도에서 QuEST 및 LSQ보다 일관되게 더 높은 엔트로피와 더 낮은 perplexity를 달성합니다(LLaMA/GPT 모델).
• BBQ는 훈련 초기에 2비트 가중치에 대한 이론적 최대 엔트로피에 도달하고 훈련 동안 엔트로피를 적응시키며 더 나은 학습 용량 활용을 보여 줍니다.
• BBQ-Fast는 활성화 정규화 오버헤드를 줄이면서도 perplexity 손실이 미미하여 BBQ와 비슷한 성능을 유지하고 추론 속도를 향상시킵니다.
• End-to-end LLaMA 추론에서 BBQ는 추가 활성화 양자화 단계에도 불구하고 FP16 대비 약 40%, NF4 대비 48%의 상당한 속도 향상을 보입니다(평가된 설정).
• 특수화 사례(예: 1비트)에서 BBQ는 QuEST의 클리핑보다 Φ 기반 변환이 더 매끄럽게 작동하여 perplexity를 낮추는 데 기여합니다.
• 양자화 모델에서 엔트로피는 예측 품질 및 학습 용량의 유용한 프록시로 관찰됩니다.

(a) HT & RMS