[論文レビュー] Improving Bilayer Product Quantization for Billion-Scale Approximate Nearest Neighbors in High Dimensions

Artem Babenko, Victor Lempitsky|arXiv (Cornell University)|Apr 7, 2014

Advanced Image and Video Retrieval Techniques参考文献 14被引用数 18

ひとこと要約

本稿では、10億スケールの高次元データセットにおける近似最近傍探索の高速化と精度向上を目的として、2つの新規システム—Fast Bilayer Product Quantization (FBPQ) と Hierarchical Bilayer Product Quantization (HBPQ)—を提案する。FBPQは距離計算の複雑さを O(D) から O(M) に低減し、Multi-D-ADC と同等の再現率を維持しながら最大15倍の高速化を達成する。HBPQはインデックスセルごとに局所的な積量子化コードブックを用いることで、SIFT1B データセットにおいて Recall@1 を10%、Recall@10 を17% 向上させ、メモリ使用量はわずか15%増加にとどまる。

ABSTRACT

The top-performing systems for billion-scale high-dimensional approximate nearest neighbor (ANN) search are all based on two-layer architectures that include an indexing structure and a compressed datapoints layer. An indexing structure is crucial as it allows to avoid exhaustive search, while the lossy data compression is needed to fit the dataset into RAM. Several of the most successful systems use product quantization (PQ) for both the indexing and the dataset compression layers. These systems are however limited in the way they exploit the interaction of product quantization processes that happen at different stages of these systems. Here we introduce and evaluate two approximate nearest neighbor search systems that both exploit the synergy of product quantization processes in a more efficient way. The first system, called Fast Bilayer Product Quantization (FBPQ), speeds up the runtime of the baseline system (Multi-D-ADC) by several times, while achieving the same accuracy. The second system, Hierarchical Bilayer Product Quantization (HBPQ) provides a significantly better recall for the same runtime at a cost of small memory footprint increase. For the BIGANN dataset of billion SIFT descriptors, the 10% increase in Recall@1 and the 17% increase in Recall@10 is observed.

研究の動機と目的

• 既存の二段階積量子化システムが冗長な距離計算を実行し、最適でないグローバルコードブックを使用するという非効率性に対処すること。
• 精度を損なうことなく、高次元近似最近傍探索における距離評価の計算コストを低減すること。
• 各インデックスセルに特化した局所的積量子化コードブックを可能にすることで、変位分布に適応性を高め、検索再現率を向上させること。
• SIFT1B のような10億スケールのデータセットにおいて、速度と精度の両面で最先端のパフォーマンスを達成すること。
• 局所的コードブックはメモリコストが高くなるが、階層的積量子化と組み合わせることで実用的かつ有益であることを示すこと。

提案手法

• FBPQ は、積量子化を用いた非対称距離計算（ADC）を活用し、距離評価の複雑さを O(D) から O(M) に低減する。ここで M は PQ 成分の数を表す。
• フルベクトルの再構築を避けて、圧縮表現から直接距離を計算する高速かつ近似的な距離式を用いる。
• HBPQ は、変位符号化に使用するグローバルコードブックの代わりに、セルごとの局所的コードブックを導入し、各インデックスセルにおける符号化品質を向上させる。
• 局所的コードブックは同じ積量子化フレームワークに従うが、各セルの固有の変位分布に基づいて個別に訓練される。
• 効率的なセル検索のためのインバーテッドマルチインデックス構造を採用し、候補の短縮リストに対して再ランク付けを適用する。
• メモリオーバーヘッドを低く抑えるために、積量子化の階層的構造を活用し、セル数に比例した線形増加を回避する。

実験結果

リサーチクエスチョン

• RQ1 二段階積量子化における距離計算の複雑さを、精度を損なわず O(D) から O(M) に低減できるか？
• RQ2 インデックスセルごとに局所的積量子化コードブックを用いることで、グローバルコードブックに比べて検索再現率が向上するか？
• RQ3 高次元 ANN 検索において、局所的コードブックを用いる際のメモリオーバーヘッドと再現率向上のトレードオフはいかほどか？
• RQ4 二段階の積量子化の二重構造をより効果的に活用することで、検索の高速化を図れるか？
• RQ5 実世界の10億スケールのアプリケーションにおいて、局所的コードブックによるパフォーマンス向上が、上昇するメモリコストを上回るほど十分に有益であるか？

主な発見

• FBPQ は、SIFT1B データセットにおいて、Multi-D-ADC と同等の再現率を維持しながら最大15倍の高速化を達成した。
• HBPQ は、SIFT1B データセットにおいて、8バイト符号化でメモリ使用量が2 GB（15%増加）の条件下で、Recall@1 を10%、Recall@10 を17% 向上させた。
• HBPQ で局所的コードブックを用いることで、変位ベクトルの符号化誤差がグローバルコードブックに比べて30% 減少した。
• GIST50M データセットでは、HBPQ は Multi-D-ADC に比べて Recall@1 で1.3%～2.4%、Recall@10 で最大10% の向上を達成し、メモリ使用量は1.5倍にとどまった。
• キャッシュ非効率性によりクエリ時間は20%増加したが、HBPQ は依然として非常に効果的かつスケーラブルであり、特に大規模データセットにおいて顕著な性能を示した。
• 結果から、十分なデータが各セルのコードブック学習に利用可能である場合、局所的コードブックはグローバルコードブックよりもはるかに効果的であることが示された。