[論文レビュー] Scalable Nearest Neighbor Search based on kNN Graph

Wan‐Lei Zhao, Jie Yang+1 more|arXiv (Cornell University)|Jan 30, 2017

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、kNNグラフに基づく勾配上昇法と多層残留ベクトル量子化（RVQ）を組み合わせたスケーラブルな近似最近傍探索手法であるIVF+E-GNNSを提案する。RVQを用いて真の最近傍を含む可能性の高い領域から探索を誘導することで、メモリ軽量なインデキシングを実現し、SIFT1MおよびGIST1Mデータセットにおいて高速かつほぼ100％の再現率を達成した。これは、圧縮および非圧縮のベースラインを上回る性能を示し、速度、再現率、メモリ効率の面で優れている。

ABSTRACT

Nearest neighbor search is known as a challenging issue that has been studied for several decades. Recently, this issue becomes more and more imminent in viewing that the big data problem arises from various fields. In this paper, a scalable solution based on hill-climbing strategy with the support of k-nearest neighbor graph (kNN) is presented. Two major issues have been considered in the paper. Firstly, an efficient kNN graph construction method based on two means tree is presented. For the nearest neighbor search, an enhanced hill-climbing procedure is proposed, which sees considerable performance boost over original procedure. Furthermore, with the support of inverted indexing derived from residue vector quantization, our method achieves close to 100% recall with high speed efficiency in two state-of-the-art evaluation benchmarks. In addition, a comparative study on both the compressional and traditional nearest neighbor search methods is presented. We show that our method achieves the best trade-off between search quality, efficiency and memory complexity.

研究の動機と目的

• 高次元かつ大規模なベクトル空間における最近傍探索のスケーラビリティと効率性の課題に取り組む。
• 多層残留ベクトル量子化（RVQ）を用いた初期化による誘導により、kNNグラフ上の勾配上昇探索における局所最適解への陥没を軽減する。
• 多層残留ベクトル量子化に基づくインバーテッドインデキシングを用いて、最小限のメモリオーバーヘッドで高い探索再現率を達成する。
• 速度、再現率、メモリコストのバランスを最適化し、既存の圧縮および非圧縮手法を上回る性能を実現する。
• 圧縮表現上での効率的かつスパースなインデキシングを用いて、10億スケールの最近傍探索を可能にする。

提案手法

• 時間計算量O(n·log(n)·D)を達成するスケーラブルなkNNグラフ構築手法を提案し、大規模データセットにおける効率的インデキシングを可能にする。
• 多層残留ベクトル量子化（RVQ）を用いて、真の最近傍が含まれる可能性の高い領域から探索を開始するように誘導する、強化された勾配上昇手順を導入する。
• RVQから導出されるインバーテッドインデキシングを採用し、参照ベクトルIDのみを格納することで、メモリオーバーヘッドを最小限に抑える。
• RVQによる粗いから細かい空間分割を用いて、高確率の候補領域へ探索を誘導することで、収束性と再現率を向上させる。
• kNNグラフベース探索と量子化ベースインデキシングを統合し、高精度かつ高速な効率性を両立する。
• 小規模な語彙を用いたスパースインデキシングにより、10億スケールのデータセットを対象とした効率的かつスケーラブルな探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 kNNグラフベースの最近傍探索手法は、大規模データセットにおいて低メモリコストかつ高速で高い再現率を達成できるか？
• RQ2 kNNグラフ上の勾配上昇探索は、局所最適解への陥落を回避し、収束を加速するためにどのように改善できるか？
• RQ3 残留ベクトル量子化（RVQ）は、顕著なメモリオーバーヘッドを伴わずに探索初期化を効果的に誘導できるか？
• RQ4 提案手法は、最先端の圧縮および非圧縮最近傍探索手法と比較して、速度、再現率、メモリ効率の面でどのように優れているか？
• RQ5 本手法は、高品質かつ効率的な探索を維持しながら、10億スケールのデータセットにスケーリング可能か？

主な発見

• SIFT1MおよびGIST1Mにおいて、それぞれ平均クエリ時間1.8msおよび8.0msでほぼ100％の再現率を達成し、再現率-速度トレードオフにおいてEFANNAおよびANNを上回った。
• SIFT1Mでは1%再現率が98.3%、100%再現率が98.3%を達成し、GIST1Mでは1%再現率が94.3%、100%再現率が94.3%を達成。参照セットサイズの1.234倍および1.053倍のわずかなメモリオーバーヘッドで実現した。
• IVFPQおよびIVFRVQと比較して、より高い再現率、より速い探索時間、より低いメモリ消費量を達成した。
• E2LSHおよびFLANNと比較して、特に高再現率閾値において速度と再現率の両面で優れており、全探索よりもスケーラブルである。
• RVQに基づくインバーテッドインデキシングの活用により、無視できるほどのメモリコストでスパースかつ効率的なインデキシングが可能となり、10億スケールの探索が現実可能になった。
• RVQによる誘導付き強化勾配上昇手順により、ベースラインのE-GNNSと比較して平均再現率が10%以上向上し、探索時間は同等であった。