[논문 리뷰] Norm-Explicit Quantization: Improving Vector Quantization for Maximum Inner Product Search

Xinyan Dai, Xiao Yan외 3명|arXiv (Cornell University)|2019. 11. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 최대 내적 검색(MIPS)을 위한 벡터 양자화를 향상시키기 위해 전용 코드북을 사용해 벡터 노름을 명시적으로 양자화하는 일반적인 프레임워크인 노름-명시적 양자화(NEQ)를 제안한다. 방향 양자화에는 기존 방법을 재사용한다. NEQ는 다양한 데이터셋에서 여러 VQ 방법(PQ, OPQ, RQ, AQ)에 대해 재현율 성능을 크게 향상시키며, 내적 정확도에 노름 오차가 방향 오차보다 더 큰 영향을 미친다는 것을 입증하고, 전체 양자화 오차를 최소화하는 것이 MIPS에 최적은 아니라는 것을 보여준다.

ABSTRACT

Vector quantization (VQ) techniques are widely used in similarity search for data compression, fast metric computation and etc. Originally designed for Euclidean distance, existing VQ techniques (e.g., PQ, AQ) explicitly or implicitly minimize the quantization error. In this paper, we present a new angle to analyze the quantization error, which decomposes the quantization error into norm error and direction error. We show that quantization errors in norm have much higher influence on inner products than quantization errors in direction, and small quantization error does not necessarily lead to good performance in maximum inner product search (MIPS). Based on this observation, we propose norm-explicit quantization (NEQ) --- a general paradigm that improves existing VQ techniques for MIPS. NEQ quantizes the norms of items in a dataset explicitly to reduce errors in norm, which is crucial for MIPS. For the direction vectors, NEQ can simply reuse an existing VQ technique to quantize them without modification. We conducted extensive experiments on a variety of datasets and parameter configurations. The experimental results show that NEQ improves the performance of various VQ techniques for MIPS, including PQ, OPQ, RQ and AQ.

연구 동기 및 목표

• MIPS는 유클리드 거리가 아니라 내적에 의존하므로, 총 양자화 오차를 최소화하는 것이 MIPS에 최적인지 조사한다.
• 벡터 양자화에서 노름 오차와 방향 오차가 내적 근사 정확도에 미치는 상대적 영향을 규명한다.
• 기존 VQ 기법의 핵심 코드북 학습 및 추론 절차를 수정하지 않고도 MIPS에 적합한 기존 VQ 기법을 향상시킬 수 있는 일반 목적의 프레임워크를 개발한다.
• 전체 양자화 오차를 최소화하는 것보다 노름 오차를 명시적으로 최소화함으로써 MIPS 성능을 향상시킬 수 있으며, 특히 고차원이고 노름이 다양성이 큰 데이터셋에서 그러한 성능 향상이 두드러진다는 것을 입증한다.

제안 방법

• 내적 정확도에 미치는 영향을 분석하기 위해 양자화 오차를 노름 오차(||x|| - ||x̃||)와 각도 오차(1 - (xᵀx̃)/(||x|| ||x̃||))로 분해한다.
• 노름-명시적 양자화(NEQ)를 제안하며, 벡터 표현을 노름과 단위 방향으로 분리하고, 전용 코드북을 사용해 노름을 명시적으로 양자화한다.
• 기존의 VQ 기법(PQ, RQ, AQ 등)을 그대로 재사용해 단위 노름 방향 벡터를 양자화함으로써, 기존의 학습 및 추론 파이프라인을 유지한다.
• 표준적인 전체 벡터 양자화를 별도의 노름 및 방향 양자화로 대체함으로써 기존 VQ 기법과 NEQ를 통합하며, 근사 내적 계산의 복잡도를 O(M)로 유지한다.
• 방향에 대한 표준 VQ 최적화 목표를 사용하여 코드북을 학습하고, 노름 양자화의 경우 별도로 노름 오차를 최소화하도록 최적화한다.
• PQ, OPQ, RQ, AQ 등의 다양한 VQ 기반 모델에 NEQ를 적용하고, ImageNet, SIFT1M 등의 표준 벤치마크를 사용해 top-k MIPS를 평가하며 재현율과 쿼리 처리 시간을 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 내적의 고유한 성질을 감안할 때, 총 양자화 오차를 최소화하는 것이 최대 내적 검색(MIPS)에서 최적의 성능을 내는가?
• RQ2 MIPS의 내적 근사 정확도에 영향을 미치는 양자화 오차의 구성요소 중에서 노름 오차와 각도 오차 중 어느 것이 더 큰 영향을 미치는가?
• RQ3 기존 VQ 기법의 핵심 학습 또는 추론 절차를 수정하지 않고도 MIPS에 적합한 일반 목적의 프레임워크를 설계할 수 있는가?
• RQ4 전체 양자화 오차가 약간 증가하더라도, 노름 오차를 명시적으로 최소화함으로써 더 나은 MIPS 재현율을 달성할 수 있는가?

주요 결과

• NEQ는 ImageNet 및 SIFT1M와 같은 다양한 데이터셋에서 PQ, OPQ, RQ, AQ 등의 여러 VQ 방법에 대해 일관되게 높은 재현율 향상을 보이며, 다양한 파라미터 설정에서도 유사한 성능 향상을 기록한다.
• ImageNet 데이터셋에서 NE-RQ는 동일한 쿼리 처리 시간에 최신의 근접 그래프 방법인 ip-NSW를 초월하며 더 높은 재현율을 달성하여, NEQ가 후보 생성 과정에서 효과적이라는 것을 입증한다.
• QUIP-cov(x)와 같은 전용 MIPS 인식 VQ 방법에 비해 더 복잡한 코드북 학습 전략을 사용하고도 NE-PQ는 더 뛰어난 성능을 보이며, 이는 NEQ가 내적 오차를 직접 최소화하는 데에 특화된 방법보다도 우수하다는 것을 시사한다.
• 기존 RQ 기반 기준과 비교해 NEQ는 전체 양자화 오차는 약간 증가시키지만 노름 오차는 크게 감소시켜, MIPS에 있어서 총 오차 최소화가 최적임을 입증하지 못한다는 것을 증명한다.
• NEQ는 낮은 인덱스 크기(예: NE-PQ의 경우 16비트/아이템)를 유지하면서도, 동일하거나 더 작은 인덱스 크기로 LSH 기반 방법(Norm-Range LSH, Simple-LSH)보다 더 높은 재현율을 달성한다.
• NEQ는 여러 실행에 걸쳐 재현율의 표준편차가 낮아 코드북 학습 과정의 안정성과 강건성이 향상됨을 보여준다.