[論文レビュー] Quantization based Fast Inner Product Search

Ruiqi Guo, Sanjiv Kumar+2 more|arXiv (Cornell University)|Sep 4, 2015

Advanced Image and Video Retrieval Techniques参考文献 14被引用数 50

ひとこと要約

本稿では、最大内積検索（MIPS）を高速化するための、符号化ベースの内積検索手法であるQUIP（Quantization-based Inner Product Search）を提案する。この手法は、サブスペースごとのデータベクトルを符号化するためのコードブックを学習することで、内積の符号化誤差を直接最小化する。実世界のデータセット（深層学習およびレコメンデーションタスクを含む）において、固定空間および固定時間の制約下でも、最先端の手法を上回る性能を発揮する。

ABSTRACT

We propose a quantization based approach for fast approximate Maximum Inner Product Search (MIPS). Each database vector is quantized in multiple subspaces via a set of codebooks, learned directly by minimizing the inner product quantization error. Then, the inner product of a query to a database vector is approximated as the sum of inner products with the subspace quantizers. Different from recently proposed LSH approaches to MIPS, the database vectors and queries do not need to be augmented in a higher dimensional feature space. We also provide a theoretical analysis of the proposed approach, consisting of the concentration results under mild assumptions. Furthermore, if a small sample of example queries is given at the training time, we propose a modified codebook learning procedure which further improves the accuracy. Experimental results on a variety of datasets including those arising from deep neural networks show that the proposed approach significantly outperforms the existing state-of-the-art.

研究の動機と目的

• 任意のベクトルノルムを有する高次元空間における効率的な最大内積検索（MIPS）の課題に対処すること。
• ベクトルを高次元空間に拡張する必要がある既存のLSHベースの手法の制限を克服すること。
• 内積の符号化誤差を直接最小化するコードブック学習フレームワークを構築し、検索精度を向上させること。
• 学習時に例のクエリを少量提供できる場合に、制約付き最適化手順を導入して精度をさらに向上させること。
• やや弱い仮定の下で、手法の頑健性と一般化性能を裏付ける理論的集中限界を提示すること。

提案手法

• 各データベースベクトルを複数のサブベクトルに分解し、それぞれを学習済みのコードブックを用いて符号化することで、内積再構成誤差を最小化する。
• クエリとデータベースベクトル間の内積を、クエリサブベクトルとそれに対応する量子化サブベクトルの内積の和として近似する。
• L2再構成誤差ではなく、内積の期待値における符号化誤差を最小化する最適化によりコードブックを学習する。
• 学習時に例のクエリが利用可能な場合、上位N個のMIPS結果を保持するようにコードブックを最適化する制約付き学習手順を導入する。
• 集中不等式（Berry-Esseen）を適用し、量子化内積が真の内積からどれほど逸脱するかの理論的限界を導出する。
• 比較のためのベースラインとして非対称ベクトル変換（例：ALSH）を用いるが、内積を直接符号化によってモデル化することで、このような変換を回避する。

実験結果

リサーチクエスチョン

• RQ1 内積符号化を、L2誤差の代わりに内積誤差を直接最小化する最適化問題として定式化できるか？
• RQ2 提案手法QUIPは、LSHベースのMIPS手法と比較して、精度および効率の面でどのように異なるか？
• RQ3 学習時に少量の例のクエリを提供することで、符号化ベースのMIPS検索の精度が向上するか？
• RQ4 やや弱い分布的仮定の下で、量子化内積の近似誤差に対してどのような理論的保証を提示できるか？
• RQ5 本手法は、多様な実世界のデータセットにおいて、固定空間および固定時間の検索制約の両方で高い性能を維持するか？

主な発見

• QUIP手法は、Movielens、Netflix、ImageNet、VideoRecを含む4つの実世界データセットにおいて、最先端の手法を顕著に上回る。
• すべてのデータセットにおいて、ALSHおよびSRPベースのLSH手法よりも高い精度を達成しており、特に固定空間のシナリオで顕著である。
• 学習時に例のクエリが利用可能な場合、制約付きコードブック学習手順によりさらに精度が向上し、クエリ分布への適応性が示された。
• 理論的分析により、やや弱い仮定の下で、量子化内積が真の内積のまわりに集中することが示され、逸脱確率の明示的限界が得られた。
• ALSHとは異なり、ベクトルを高次元空間に拡張する必要がないため、インデキシングがより単純かつ効率的である。
• 実験結果により、QUIPは固定空間および固定時間の両方の検索制約下でも強力な性能を維持しており、大規模応用に適していることが確認された。