[論文レビュー] EFANNA : An Extremely Fast Approximate Nearest Neighbor Search Algorithm Based on kNN Graph

Cong Fu, Deng Cai|arXiv (Cornell University)|Sep 23, 2016

Advanced Image and Video Retrieval Techniques参考文献 30被引用数 65

ひとこと要約

EFANNAは、NN拡張における優れた初期化を実現する階層構造を活用することで、k-NNグラフ構築およびANN検索の両方を高速化する画期的な近似最近傍探索アルゴリズムである。最先端の性能を達成しており、FLANNのKDツリーに比べて最大30倍速く、SIFT1MおよびGIST1MにおいてIEH-ITQやGNNSを上回り、インデックスサイズは同等である。

ABSTRACT

Approximate nearest neighbor (ANN) search is a fundamental problem in many areas of data mining, machine learning and computer vision. The performance of traditional hierarchical structure (tree) based methods decreases as the dimensionality of data grows, while hashing based methods usually lack efficiency in practice. Recently, the graph based methods have drawn considerable attention. The main idea is that \emph{a neighbor of a neighbor is also likely to be a neighbor}, which we refer as \emph{NN-expansion}. These methods construct a $k$-nearest neighbor ($k$NN) graph offline. And at online search stage, these methods find candidate neighbors of a query point in some way (\eg, random selection), and then check the neighbors of these candidate neighbors for closer ones iteratively. Despite some promising results, there are mainly two problems with these approaches: 1) These approaches tend to converge to local optima. 2) Constructing a $k$NN graph is time consuming. We find that these two problems can be nicely solved when we provide a good initialization for NN-expansion. In this paper, we propose EFANNA, an extremely fast approximate nearest neighbor search algorithm based on $k$NN Graph. Efanna nicely combines the advantages of hierarchical structure based methods and nearest-neighbor-graph based methods. Extensive experiments have shown that EFANNA outperforms the state-of-art algorithms both on approximate nearest neighbor search and approximate nearest neighbor graph construction. To the best of our knowledge, EFANNA is the fastest algorithm so far both on approximate nearest neighbor graph construction and approximate nearest neighbor search. A library EFANNA based on this research is released on Github.

研究の動機と目的

• 既存のグラフベースのANN手法には、局所最適値への収束が悪く、k-NNグラフ構築に高い計算コストがかかるという限界がある。
• NN拡張の性能を向上させるために、収束性と再現率を向上させる良好な初期化戦略を提供する。
• 大規模かつ高次元のデータに適した、高速でスケーラブルな近似k-NNグラフ構築手法を開発する。
• インデックスサイズと計算コストを最小限に抑えながら、近似最近傍探索において高い検索効率と高い再現率を達成する。

提案手法

• 階層構造（例：切り捨てられたKDツリー）を用いて、NN拡張のための高品質な初期候補を生成することで、収束性を向上させ、局所最適値を低減する。
• 分割統治戦略を用いて初期の近似k-NNグラフを構築し、その後NN-descentを用いて精度を向上させる。
• NN拡張の原理（近い近傍の近傍は、多くの場合近傍である）を活用し、反復的な検索の改善を可能にする。
• 木の数とk-NNグラフの幅（k）のバランスを最適化することで、インデックスサイズとパフォーマンスを最適化し、実験的分析によりグラフ幅が木の数の増加よりもより大きなパフォーマンス向上をもたらすことが示された。
• 検索フェーズに階層的初期化を統合することで、計算コストを増加させることなく収束性と再現率を向上させる。
• 再現可能性と実用的導入を可能にするために、GitHubにオープンソースライブラリをリリースする。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのANN探索におけるNN拡張の初期化に、ランダムまたはハッシュベースの手法よりも階層構造が優れた初期化を提供できるか？
• RQ2 k-NNグラフの幅（k）を増加させることと、木の数を増加させることの、EFANNAのパフォーマンスと再現率に与える影響は何か？
• RQ3 NN-descentを用いた分割統治アプローチは、大規模なスケールで高速かつ正確な近似k-NNグラフ構築を達成できるか？
• RQ4 IEH-ITQ、GNNS、FLANNのKDツリーといった最先端手法と比較して、EFANNAの速度、再現率、インデックスサイズの観点での性能はいかがなものか？
• RQ5 k-NNグラフが広がるにつれて、より良い初期化によるパフォーマンス向上が減少し、飽和点に達する傾向があるか？

主な発見

• SIFT1MおよびGIST1Mにおいて、EFANNAはFLANNのKDツリーに比べ最大30倍速く、インデックスサイズは同等であるため、優れた検索効率を示している。
• SIFT1Mでは、低再現率領域でIEH-ITQやGNNS（kGraph）を上回るが、高再現率（例：95%）では性能差が縮まり、初期化による利点が広いグラフでは薄れる傾向がある。
• GIST1Mでは、IEH-ITQやGNNSに対してEFANNAが優位を保っていることから、より困難で高次元のデータセットでも優れた性能を発揮することが示された。
• k-NNグラフの幅を広げる（例：10NNから40NNに）ことは、木の数を増やすことよりも、特にインデックスサイズが制限される状況でより大きなパフォーマンス向上をもたらす。
• 同じメモリコストで、木の数を増やすのではなくグラフ幅（k）を増やすことで、より高い再現率と速度が得られ、より効率的な最適化戦略であることが示された。
• オープンソースのEFANNAライブラリはGitHubで公開されており、スケーラブルなANNシステムにおける展開とさらなる研究を可能にしている。