[논문 리뷰] Post-Training 4-bit Quantization on Embedding Tables

Hui Guan, Andrey Malevich외 3명|arXiv (Cornell University)|2019. 11. 05.

Recommender Systems and Techniques참고 문헌 22인용 수 16

한 줄 요약

이 논문은 추천 시스템의 임bedding 테이블에서 후기 훈련 4비트 양자화를 가능하게 하기 위해 탐욕적 탐색을 통한 행별 균일 양자화와 k-means 군집을 이용한 코드북 기반 양자화를 제안한다. 이는 기존의 상태최고 성능을 유지하면서 모델 크기를 원본의 13.89%로 줄이는 데 성공했으며, 실사용 환경인 페이스북 랭킹 모델에서도 성능 저하 없이 구현되었다.

ABSTRACT

Continuous representations have been widely adopted in recommender systems where a large number of entities are represented using embedding vectors. As the cardinality of the entities increases, the embedding components can easily contain millions of parameters and become the bottleneck in both storage and inference due to large memory consumption. This work focuses on post-training 4-bit quantization on the continuous embeddings. We propose row-wise uniform quantization with greedy search and codebook-based quantization that consistently outperforms state-of-the-art quantization approaches on reducing accuracy degradation. We deploy our uniform quantization technique on a production model in Facebook and demonstrate that it can reduce the model size to only 13.89% of the single-precision version while the model quality stays neutral.

연구 동기 및 목표

• 임베딩 테이블이 모델 크기를 지배하는 대규모 추천 시스템에서 메모리와 추론 지연을 줄이는 데 도전하는 것.
• 훈련 데이터가 가용하지 않은 상황에서도 정확도 저하를 최소화하는 후기 훈련 4비트 양자화 기법을 개발하는 것.
• 작은 임베딩 행 벡터에 대해 실패하는 기존의 히스토그램 기반 또는 분포 가정 기반 양자화 방법의 한계를 극복하는 것.
• 고도의 정확도 유지와 함께 극한의 압축을 가능하게 하는 효율적이고 구현 가능한 양자화 방법을 설계하는 것.
• 실제 생산 환경에서 페이스북의 실사용 시스템에 도입하여 실현 가능성을 입증하는 것.

제안 방법

• 평균 제곱오차의 국소 최소값을 반복적으로 탐색함으로써 최적의 클리핑 임계값을 찾기 위한 행별 균일 양자화와 탐욕적 탐색.
• 양자화 오차를 증가시키지 않으면서 모델 크기를 추가로 줄이기 위해 스케일 및 바이어스 파라미터에 FP16 정밀도를 사용.
• 입력 벡터를 균일하지 않은 분포를 가진 값으로 매핑하기 위해 k-means 군집을 활용한 코드북 기반 양자화.
• 정확도를 유지하면서 코드북 크기를 줄이기 위한 이중 레이어 k-means 군집(KMEANS-CLS).
• 다양한 임베딩 차원과 양자화 방법에 대해 정규화된 ℓ₂ 손실을 사용하여 양자화 오차를 실증적으로 평가.
• ACIQ, 히스토그램 기반 클리핑, 대칭/비대칭 양자화와 같은 최신 기법들과의 비교 분석.

실험 결과

연구 질문

• RQ1 기존 방법이 실패하는 상황에서 후기 훈련 4비트 양자화가 임베딩 테이블에 대해 정확도 저하를 거의 유발하지 않을 수 있는가?
• RQ2 작은 임베딩 행 벡터에 대해 클리핑 임계값에 대한 탐욕적 탐색이 분포 기반 또는 히스토그램 기반 클리핑보다 우월한가?
• RQ3 k-means 군집을 활용한 코드북 기반 양자화가 동일한 압축 비율에서 균일 양자화보다 더 높은 정확도를 달성할 수 있는가?
• RQ4 실제 생산 환경에서 모델 품질을 유지하면서 얼마나 모델 크기를 줄일 수 있는가?
• RQ5 균일 양자화에서 스케일 및 바이어스 파라미터에 FP16을 사용하면 오차 증가 없이 모델 크기를 추가로 줄일 수 있는가?

주요 결과

• 탐욕적 탐색을 통한 행별 균일 양자화는 실사용 환경의 페이스북 랭킹 모델에서 정확도를 유지하면서 모델 크기를 원본 단정밀도 모델의 13.89%로 줄였다.
• 모든 4비트 균일 양자화 방법 중에서 다양한 임베딩 차원에서 가장 낮은 정규화된 ℓ₂ 손실(0.03889–0.06221)을 달성했다.
• k-means 군집을 활용한 코드북 기반 양자화는 가장 낮은 정규화된 ℓ₂ 손실(0.03670–0.05781)을 기록했으며, 원본 모델의 로그 손실을 그대로 유지하면서 모델 크기를 원본의 18.8%~37.5%로 압축했다.
• 탐욕적 방법에서 스케일 및 바이어스 파라미터에 FP16을 사용함으로써 d=128일 때 모델 크기를 원본의 13.28%로 줄였고, 성능 저하가 측정되지 않았다.
• ACIQ, 히스토그램 기반 클리핑, 대칭 양자화와 같은 최신 기법들보다 양자화 오차와 모델 정확도 모두에서 뛰어난 성능을 보였다.
• 실증 결과에 따르면, 이전의 4비트 양자화 기법들은 작은 임베딩 행 벡터에 적용되었을 때 간단한 범위 기반 클리핑과 별 차이가 없음을 확인했으며, 이는 새로운 접근법의 필요성을 입증한다.