[論文レビュー] Fast k-Nearest Neighbour Search via Prioritized DCI

Ke Li, Jitendra Malik|arXiv (Cornell University)|Mar 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 13

ひとこと要約

この論文では、固有次元性に依存するクエリ時間の増加を軽減するために、インデックスに優先順位を割り当てることで、Dynamic Continuous Indexing (DCI) を改善した新しいk近傍探索アルゴリズム、Prioritized DCI を提案する。固有次元性に比例してクエリ時間が線形に増加する一方で、近傍点の数の指数的増加を効果的に抑制し、LSHと比較して距離評価回数を最大116倍、メモリ使用量を最大21倍まで削減する。

ABSTRACT

Most exact methods for k-nearest neighbour search suffer from the curse of dimensionality; that is, their query times exhibit exponential dependence on either the ambient or the intrinsic dimensionality. Dynamic Continuous Indexing (DCI) offers a promising way of circumventing the curse and successfully reduces the dependence of query time on intrinsic dimensionality from exponential to sublinear. In this paper, we propose a variant of DCI, which we call Prioritized DCI, and show a remarkable improvement in the dependence of query time on intrinsic dimensionality. In particular, a linear increase in intrinsic dimensionality, or equivalently, an exponential increase in the number of points near a query, can be mostly counteracted with just a linear increase in space. We also demonstrate empirically that Prioritized DCI significantly outperforms prior methods. In particular, relative to Locality-Sensitive Hashing (LSH), Prioritized DCI reduces the number of distance evaluations by a factor of 14 to 116 and the memory consumption by a factor of 21.

研究の動機と目的

• k近傍探索における次元の呪い、特に固有次元性に伴うクエリ時間の指数的増加に対処すること。
• k-d 木や LSH などの空間分割手法の限界を克服すること。これらは境界効果や固定された分割により、高次元空間で性能が著しく低下する。
• 標準的な DCI を改善し、インデックスに優先順位を導入することで、探索効率を向上させ、クエリ時間計算量を低減すること。
• 固有次元性に比例してサブ線形にクエリ時間が増加するようにしつつ、高い正確性と低いメモリ使用量を維持すること。
• 実世界のデータセットにおいて、LSH やプロダクト量子化といった最先端手法と比較して、著しい速度向上とメモリ効率の向上を示すこと。

提案手法

• 各インデックスに、クエリの正確性への期待寄与度に基づいて優先順位を割り当てる、Dynamic Continuous Indexing (DCI) の変種である Prioritized DCI を提案する。
• 複数のインデックスを構築し、それぞれがランダムな方向への射影に基づいてデータ点のランダムな順序を定義する。これにより、データ空間内で近い点どうしが類似した順位をとる。
• 各クエリステップで、最も情報量の高いインデックスを優先キューを用いて動的に選択し、近隣の点が得られやすいインデックスに計算リソースを集中させる。
• 複数の優先順位付きインデックスからの結果を統合して k 個の近傍点を取得し、不要な距離計算を削減するための早期終了ヒューリスティクスを導入する。
• 再トレーニングなしに動的更新をサポートするデータ構造を維持し、インデキシング方式の連続的性質を活用する。
• ハイパーパrameter（例：インデックス数、射影長）を最適化し、正確性、速度、メモリ使用量のバランスを取る。空間効率とのトレードオフに関するアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 DCI インデックスに対する優先順位戦略により、クエリ時間の固有次元性に伴う指数的増加を軽減できるか？
• RQ2 高次元空間において、Prioritized DCI は LSH やプロダクト量子化と比較して、距離評価回数をどの程度削減できるか？
• RQ3 さまざまなデータセットとハイパーパrameter設定において、Prioritized DCI は LSH や標準 DCI と比較して、どの程度メモリ効率が優れているか？
• RQ4 優先順位機構により、近傍点検索の収束が速くなり、近似品質が維持または向上するか？
• RQ5 CIFAR-100 や MNIST のような高次元性の高いデータセットに対しても、Prioritized DCI は効果的にスケーリング可能で、性能劣化が最小限に抑えられるか？

主な発見

• CIFAR-100 では、LSH と比較して距離評価回数を 90.9% から 93.8% 削減し、クエリ効率を 14 倍向上させた。
• MNIST では、LSH と比較して距離評価回数を 98.8% から 99.3% 削減し、クエリ効率を 116 倍向上させた。
• 標準 DCI と同一のハイパーパラメータ設定下で、CIFAR-100 では LSH より 95.5% 少ないメモリを使用し、MNIST では 95.3% 少ない。これは 21 倍の削減に相当する。
• 空間効率を最適化した設定では、CIFAR-100 で LSH より 98.2%、MNIST で 97.9% のメモリ使用量を削減し、それぞれ 55 倍および 48 倍の削減を達成した。
• MNIST で 100 回のクエリを実行するのに、Prioritized DCI は 1.18 秒で完了した。一方 LSH は 104.71 秒を要し、実行時間で 89 倍の高速化を達成した。
• アルゴリズムは高い近似品質を維持しており、全テストデータセットおよび設定において近似比が 1 に近く、計算量の削減にもかかわらず正確性が保持されていることが確認された。