[논문 리뷰] Differentiable Product Quantization for End-to-End Embedding Compression

Ting Chen, Lala Li외 1명|arXiv (Cornell University)|2019. 08. 26.

Advanced Data Compression Techniques참고 문헌 24인용 수 14

한 줄 요약

이 논문은 신경망 임bedding 레이어를 압축하기 위해 이산적 제품 양자화 코드를 학습하는 엔드 투 엔드 훈련 가능한 새로운 프레임워크인 Differentiable Product Quantization (DPQ)를 제안한다. 제품 양자화를 미분 가능하게 함으로써 DPQ는 10개의 언어 데이터셋에서 14–238× 압축 비율을 달성하면서도 거의 성능 저하 없이 단일 단계 훈련을 가능하게 하며, 정규화 기반 훈련 없이도 이전 방법보다 효율성과 압축 성능에서 뛰어나다.

ABSTRACT

Embedding layers are commonly used to map discrete symbols into continuous embedding vectors that reflect their semantic meanings. Despite their effectiveness, the number of parameters in an embedding layer increases linearly with the number of symbols and poses a critical challenge on memory and storage constraints. In this work, we propose a generic and end-to-end learnable compression framework termed differentiable product quantization (DPQ). We present two instantiations of DPQ that leverage different approximation techniques to enable differentiability in end-to-end learning. Our method can readily serve as a drop-in alternative for any existing embedding layer. Empirically, DPQ offers significant compression ratios (14-238$ imes$) at negligible or no performance cost on 10 datasets across three different language tasks.

연구 동기 및 목표

• 대규모 임베딩 테이블의 높은 메모리 및 스토리지 비용을 해결하기 위해, 특히 자연어 처리(NLP) 및 추천 시스템에서 발생하는 문제를 다루기 위해.
• 고정되거나 비미분 가능한 이산 코드를 사용하는 이전 방법의 한계를 극복하기 위해, 정규화를 포함한 이중 단계 훈련이 필요로 하는 문제를 해결하기 위해.
• 성능 저하 없이 임베딩 벡터를 위한 압축된 이산 코드를 학습할 수 있는 일반적이고 엔드 투 엔드로 미분 가능한 프레임워크를 개발하기 위해.
• 모델 정확도를 유지하면서 전체 임베딩 테이블을 양자화된 코드로 대체하여 효율적인 추론과 훈련을 가능하게 하기 위해.

제안 방법

• 연속적인 임베딩 벡터를 이산 코드로 매핑하기 위해 미분 가능한 이산화 함수 φ(·)와 역이산화 함수 ρ(·)를 사용하는 미분 가능한 제품 양자화(DPQ) 프레임워크를 제안한다.
• 직선 통과 기반 기울기 추정과 소프트 할당을 사용하는 벡터 양자화를 통한 근사 기법인 DPQ-SX와 DPQ-VQ를 도입하여 이산 코드를 통한 역전파를 가능하게 한다.
• 제품 양자화(PQ)를 사용해 임베딩 공간을 D개의 수직 하위공간으로 나누며, 각 하위공간은 K개의 중심점으로 구성되어 있어 D차원 인덱스 벡터로 압축된 코드 표현을 가능하게 한다.
• 양자화 과정을 통해 역전파를 수행함으로써 전체 모델을 엔드 투 엔드로 훈련시키며, 최종 작업 성능을 위해 중심점과 코드를 함께 최적화할 수 있도록 한다.
• 표준 임베딩 레이어를 DPQ 모듈로 간단히 대체하여 동일한 입력-출력 동작을 유지하면서도 파rameter 수를 크게 줄인다.
• 하드 이산화를 연속적 근사로 근사함으로써 미분 가능성을 확보하여, 확률적 샘플링 없이도 역전파 동안 기울기 흐름이 유지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 제품 양자화를 어떻게 미분 가능하게 만들 수 있을까? 이를 통해 이산 임베딩 코드의 엔드 투 엔드 훈련이 가능해지는가?
• RQ2 코드 크기 K와 코드 길이 D의 선택이 압축 비율과 모델 성능에 어떤 영향을 미치는가?
• RQ3 DPQ는 성능 저하 없이 높은 압축 비율을 달성할 수 있는가? 특히 비미분 가능하거나 이중 단계 방법과 비교해 볼 때 어떻게 되는가?
• RQ4 표준 임베딩 레이어와 비교해 DPQ의 훈련 및 추론 시 계산 오버헤드는 얼마나 되는가?
• RQ5 DPQ는 이전 연구에서 요구되던 정규화 또는 사전 훈련 단계가 필요 없는가?

주요 결과

• DPQ는 10개의 다양한 NLP 데이터셋에서 전체 정밀도 임베딩 레이어와 비교해 거의 또는 전혀 성능 저하 없이 14–238×의 압축 비율을 달성한다.
• 작은 K(예: K=2)와 큰 D(예: D=128)의 조합이 큰 K와 작은 D보다 더 뛰어난 성능과 압축 성능을 보이며, 이는 더 높은 양자화 정확도 덕분이다.
• DPQ로 훈련할 경우 평균적으로 훈련 시간이 10% 증가할 뿐만 아니라 추가 메모리 사용이 없으며, 추론 시 오버헤드가 없다.
• 큰 K와 D에 대해 DPQ-VQ는 최적화된 벡터 양자화 연산 덕분에 DPQ-SX보다 더 뛰어난 계산 효율성을 보인다.
• DPQ는 정규화 또는 이중 단계 훈련이 필요 없으며, 향상된 수렴성과 안정성을 보이는 단일 단계 엔드 투 엔드 학습을 가능하게 한다.
• BERT 사전 훈련에 대한 실증 결과는 DPQ가 임베딩 레이어를 크게 압축하면서도 경쟁 가능한 성능을 유지함을 확인한다.