[論文レビュー] Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs

Yu. A. Malkov, D. A. Yashunin|arXiv (Cornell University)|Mar 30, 2016

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 187

ひとこと要約

階層型 NSW (HNSW) を導入した、完全なグラフベースの近傍探索インデックス。多層近傍グラフとスケール分離リンクを用い、対数の複雑さで高速かつ頑健な ANN 探索を実現。

ABSTRACT

We present a new approach for the approximate K-nearest neighbor search based on navigable small world graphs with controllable hierarchy (Hierarchical NSW, HNSW). The proposed solution is fully graph-based, without any need for additional search structures, which are typically used at the coarse search stage of the most proximity graph techniques. Hierarchical NSW incrementally builds a multi-layer structure consisting from hierarchical set of proximity graphs (layers) for nested subsets of the stored elements. The maximum layer in which an element is present is selected randomly with an exponentially decaying probability distribution. This allows producing graphs similar to the previously studied Navigable Small World (NSW) structures while additionally having the links separated by their characteristic distance scales. Starting search from the upper layer together with utilizing the scale separation boosts the performance compared to NSW and allows a logarithmic complexity scaling. Additional employment of a heuristic for selecting proximity graph neighbors significantly increases performance at high recall and in case of highly clustered data. Performance evaluation has demonstrated that the proposed general metric space search index is able to strongly outperform previous opensource state-of-the-art vector-only approaches. Similarity of the algorithm to the skip list structure allows straightforward balanced distributed implementation.

研究の動機と目的

• 他の近接グラフ手法が用いる粗検索構造を回避する完全なグラフベースの ANN インデックスを開発する。
• 指数減衰に従って乱択トップ層に各要素が参加する階層的で多層のグラフを導入し、スケール分離された近接リンクを作成する。
• 上部層からの探索とスケール認識的近傍選択を組み合わせることで、特にクラスタ化データに対して性能とリコールを向上させることを示す。

提案手法

• 指数減衰分布によって要素の最大層が決まる多層近接グラフインデックスを構築する。
• Greedy またはヒューリスティックナビゲーションを用いて上部層から下位層へ下って探索を行う。
• 高リコールと高度にクラスタ化されたデータで性能を改善するために、近接グラフの隣接候補を選択するヒューリスティックを使用する。
• スキップリスト構造との関係を活用して、スケーラブルで潜在的に分散実装を可能にする。
• NSW や他のベクトルのみアプローチと比較して、一般的な計量空間での性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 階層的なレイヤリングとスケール分離リンクは、非階層 NSW メソッドと比較して ANN 探索の速度と精度にどのような影響を与えるか？
• RQ2 補助の粗構造を用いない完全なグラフベースのインデックスは、さまざまな計量空間で実践的に対数的なクエリ複雑さを達成しうるか？
• RQ3 ヒューリスティックな隣接候補選択は、特に高度にクラスタ化されたデータでリコールを改善するか？
• RQ4 スキップリストに似た構造のため、アプローチは平衡の取れた分散実装に適しているか？

主な発見

• HNSW インデックスは階層層とスケール分離リンクを用いることで NSW およびベクトルのみの手法より性能を向上させる。
• 上位層からの探索とスケール認識的ナビゲーションの組み合わせは、対数的に近い複雑さと高速なクエリをもたらす。
• 隣接候補選択のヒューリスティックは、特に高度にクラスタ化されたデータでリコールと性能を大幅に向上させる。
• グラフベースのアプローチはスキップリスト的特性のため、分散実装を容易にする。
• 実証評価により、一般的な計量空間で既存のオープンソース最先端手法に対して強い性能向上を示した。