[論文レビュー] Norm-Explicit Quantization: Improving Vector Quantization for Maximum Inner Product Search

Xinyan Dai, Xiao Yan+3 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、最大内積探索（MIPS）のためのベクトル量子化を向上させる一般化フレームワークであるノーム・エクスプレス・クオンタイゼーション（NEQ）を提案する。NEQは、別個のコードブックを用いてノームを明示的に量子化する一方で、方向の量子化には既存の手法を再利用する。NEQは、PQ、OPQ、RQ、AQといった複数のVQ手法において、多様なデータセットで再現率を顕著に向上させ、ノーム誤差が内積精度に与える影響が方向誤差よりも大きいことを示し、全体の量子化誤差を最小化することがMIPSには最適でないことを明らかにする。

ABSTRACT

Vector quantization (VQ) techniques are widely used in similarity search for data compression, fast metric computation and etc. Originally designed for Euclidean distance, existing VQ techniques (e.g., PQ, AQ) explicitly or implicitly minimize the quantization error. In this paper, we present a new angle to analyze the quantization error, which decomposes the quantization error into norm error and direction error. We show that quantization errors in norm have much higher influence on inner products than quantization errors in direction, and small quantization error does not necessarily lead to good performance in maximum inner product search (MIPS). Based on this observation, we propose norm-explicit quantization (NEQ) --- a general paradigm that improves existing VQ techniques for MIPS. NEQ quantizes the norms of items in a dataset explicitly to reduce errors in norm, which is crucial for MIPS. For the direction vectors, NEQ can simply reuse an existing VQ technique to quantize them without modification. We conducted extensive experiments on a variety of datasets and parameter configurations. The experimental results show that NEQ improves the performance of various VQ techniques for MIPS, including PQ, OPQ, RQ and AQ.

研究の動機と目的

• MIPSはユークリッド距離ではなく内積に依存するため、全体の量子化誤差を最小化することがMIPSに最適であるかどうかを検討すること。
• ベクトル量子化におけるノーム誤差と方向誤差の内積近似精度への相対的影響を特定すること。
• 既存のVQ手法のコアなコードブック学習や推論手順を変更せずに、MIPS向けに既存のVQ技術を向上させる汎用フレームワークを構築すること。
• 特に高次元でノームが多様なデータセットにおいて、全体の量子化誤差がわずかに増加しても、ノーム誤差を明示的に最小化することでMIPSの再現率を向上させられることを示すこと。

提案手法

• 内積精度への影響を分析するため、量子化誤差をノーム誤差（||x|| - ||x̃||）と角度誤差（1 - (xᵀx̃)/(||x|| ||x̃||)）に分解する。
• ノームと単位方向にベクトル表現を分離し、別個のコードブックを用いてノームを明示的に量子化するNorm-Explicit Quantization（NEQ）を提案する。
• 単位ノルム方向ベクトルの量子化に、PQ、RQ、AQなどの既存のVQ手法を変更せず再利用し、それらの学習および推論パイプラインを保持する。
• 標準的なベクトルの量子化を、別個のノームと方向の量子化に置き換えることでNEQを既存のVQ手法に統合し、近似内積計算の計算量をO(M)に維持する。
• 方向の量子化には標準的なVQ最適化目的関数を用い、ノーム量子化はノーム誤差を最小化するように別個に最適化する。
• NEQをPQ、OPQ、RQ、AQといった複数のVQベースラインに適用し、ImageNet や SIFT1M などの標準ベンチマークを用いてtop-k MIPSを評価し、再現率とクエリ処理時間を指標とする。

実験結果

リサーチクエスチョン

• RQ1 内積の特性を考慮すると、全体の量子化誤差を最小化することが、最大内積探索（MIPS）において最適な性能をもたらすのか？
• RQ2 MIPSにおける内積近似精度に与える影響として、量子化誤差のうちノーム誤差と角度誤差のどちらがより大きな影響を及ぼすのか？
• RQ3 既存のVQ手法のコアな学習や推論手順を変更せずに、MIPS向けに既存のVQ技術を向上させる汎用フレームワークを設計可能か？
• RQ4 全体の量子化誤差がわずかに増加しても、ノーム誤差を明示的に最小化することで、MIPSの再現率を向上させられるか？

主な発見

• NEQは、ImageNet や SIFT1M といった多様なデータセットにおいて、PQ、OPQ、RQ、AQといった複数のVQ手法で再現率を顕著に向上させ、さまざまなパrameter設定において一貫した向上を示した。
• ImageNet データセットにおいて、NE-RQは、同じクエリ処理時間で最先端の近接グラフ手法ip-NSWを上回る再現率を達成し、NEQの候補生成における有効性を示した。
• NE-PQは、内積誤差を直接最小化するように設計されたより複雑なコードブック学習戦略を採用するQUIP-cov(x)を上回ったが、これにもかかわらず、NE-PQはより単純なフレームワークである。
• ベースラインのRQと比較して、NEQはノーム誤差を顕著に低減した一方で、全体の量子化誤差はわずかに増加させた。この結果、MIPSでは全体誤差を最小化することが最適でないことが証明された。
• NEQは、インデックスサイズを小さく保ち（例：NE-PQでは1アイテムあたり16ビット）、LSHベースの手法（例：Norm-Range LSH、Simple-LSH）と同等またはそれ以下のインデックスサイズで、より高い再現率を達成した。
• NEQは複数回の実行における再現率の標準偏差が低く、コードブック学習プロセスのより高いロバスト性を示した。