[論文レビュー] Fast k-Nearest Neighbour Search via Dynamic Continuous Indexing

Ke Li, Jitendra Malik|arXiv (Cornell University)|Dec 1, 2015

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、空間分割を回避するためにランダム化された一次元射影を用いて連続的かつデータに適応するインデックスを生成する、新たなk近傍探索手法である動的連続インデックス（DCI）を提案する。従来の手法とは異なり、DCIは固有次元性およびデータセットサイズに対して線形時間計算量を達成でき、動的更新をサポートし、LSHよりも優れた近似精度と空間効率を実現する。LSHに比べて候補点を61.3%〜78.7%も削減し、メモリ使用量は1/20未満に抑えられる。

ABSTRACT

Existing methods for retrieving k-nearest neighbours suffer from the curse of dimensionality. We argue this is caused in part by inherent deficiencies of space partitioning, which is the underlying strategy used by most existing methods. We devise a new strategy that avoids partitioning the vector space and present a novel randomized algorithm that runs in time linear in dimensionality of the space and sub-linear in the intrinsic dimensionality and the size of the dataset and takes space constant in dimensionality of the space and linear in the size of the dataset. The proposed algorithm allows fine-grained control over accuracy and speed on a per-query basis, automatically adapts to variations in data density, supports dynamic updates to the dataset and is easy-to-implement. We show appealing theoretical properties and demonstrate empirically that the proposed algorithm outperforms locality-sensitivity hashing (LSH) in terms of approximation quality, speed and space efficiency.

研究の動機と目的

• k-dツリーとLSHのような空間分割手法が直面する次元の呪いを解消すること。
• 空間分割の限界、例えば高次元における指数的計算量の増加や、データ密度の変動への脆弱性を克服すること。
• 固定パーティションや複雑なデータ構造に依存せずに、高速かつ動的かつ適応的なk-NN検索を可能にする手法を開発すること。
• 固有次元性およびデータセットサイズに対して線形時間計算量を達成するとともに、環境次元性においては定数空間を維持すること。

提案手法

• ランダム化された一次元射影を用いて、近接性に基づくデータポイントの順序付けを誘導する連続的インデックスを構築する。
• 複数のランダム射影（m）と複数のイテレーション（L）を用い、クエリ時に動的に検索空間を精錬する。
• 射影に基づく近接性を用いて候補点を段階的に除外するランダム化アルゴリズムを適用し、明示的な空間分割を回避する。
• イテレーション回数を調整することで、クエリ時に近似精度を制御し、速度と精度の間でクエリごとのトレードオフを可能にする。
• 完全な再計算なしに、連続的インデックスを段階的に維持することで、動的更新をサポートする。
• 射影空間で近い点はベクトル空間でも近い可能性が高く、ランダム射影理論からの統計的保証を活用する。

実験結果

リサーチクエスチョン

• RQ1 空間分割に依存せずに、高次元空間におけるk-NN検索を効率的に行うことは可能か？
• RQ2 データ依存の事前処理を必要とせず、局所的なデータ密度の変化に適応できる手法は設計可能か？
• RQ3 環境次元性において線形時間計算量を維持しつつ、LSHを上回る近似精度と空間効率を達成することは可能か？
• RQ4 再インデキシングなしに、k-NNインデキシングスキームでデータセットの動的更新を効率的にサポートできるか？
• RQ5 事前に近似レベルを定義せずに、クエリごとに精度と速度を制御できるか？

主な発見

• 提案されたDCI手法は、CIFAR-100およびMNISTデータセットの両方で、テストされたあらゆる近似レベルにおいてLSHを上回る近似精度を達成した。
• MNISTでは、同じ近似比を達成するためのDCIの候補点数はLSHに比べ61.3%〜78.7%も削減され、優れた効率性を示した。
• DCIはLSHが要するメモリの1/20未満で済ませ、空間効率を顕著に向上させた。
• 線形時間計算量を環境次元性において達成し、固有次元性およびデータセットサイズに対して非線形時間計算量を達成することで、スケーラビリティを実現した。
• DCIは動的更新をサポートし、データ密度の変化に即座に適応できるが、LSHはハッシュ関数の選択やデータ分布に敏感であるのに対し、同様の適応性に欠ける。
• 実験結果から、MNISTのような困難で密度の高いデータセットに対してもDCIは強力な性能を維持していることが示され、LSHは著しく性能を低下させることがわかった。