[論文レビュー] A Comparative Study on Hierarchical Navigable Small World Graphs.

Peng-Cheng Lin, Wan‐Lei Zhao|arXiv (Cornell University)|Apr 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 9

ひとこと要約

本稿は、近似最近傍探索における階層的可換小世界（HNSW）グラフの性能を、多様体化後のフラットk-NNグラフと比較して調査している。HNSWの階層的構造が高次元データにおいて期待される対数的複雑度スケーリングを達成しないことが判明し、同様の探索効率は多様体化されたフラットk-NNグラフでも達成可能であるが、両者とも次元の呪いによって制限を受ける。

ABSTRACT

Hierarchical navigable small world (HNSW) graphs get more and more popular on large-scale nearest neighbor search tasks since the source codes were released two years ago. The attractiveness of this approach lies in its superior performance over most of the nearest neighbor search approaches as well as its genericness to various distance measures. In this paper, several comparative studies have been conducted on this search approach. The role of hierarchical structure in HNSW and the function of HNSW graph itself are investigated. We find that the hierarchical structure in HNSW could not achieve a much better logarithmic complexity scaling as it was claimed in the paper, particularly on high dimensional data. Moreover, we find that similar high search speed efficiency as HNSW could be achieved with the support of flat k-NN graph after graph diversification. Finally, we point out the difficulty, faced by most of the graph based search approaches, is directly linked to curse of dimensionality. HNSW, like other graph based approaches, is unable to address such difficulty.

研究の動機と目的

• HNSWにおける階層的構造が最近傍探索に与える有効性を評価すること。
• 多様体化を施したフラットk-NNグラフがHNSWの探索効率を再現できるかどうかを調査すること。
• 高次元性がグラフベースの最近傍探索手法に与える影響を分析すること。
• HNSWが先行研究で主張されている次元の呪いを克服しているかどうかを評価すること。

提案手法

• 本研究は、さまざまなデータセットと距離尺度を用いて、HNSWと多様体化されたフラットk-NNグラフの比較実験を実施した。
• 特に高次元データに注目し、探索性能と複雑度スケーリングを評価した。
• フラットk-NNグラフの接続性と探索効率を向上させるために、多様体化を適用した。
• HNSWの階層的構造を分析し、対数的複雑度スケーリングへの寄与を評価した。
• 両手法の性能を再現度、探索速度、次元数に伴うスケーラビリティの観点から測定した。

実験結果

リサーチクエスチョン

• RQ1 HNSWにおける階層的構造は、特に高次元空間において、主張されている対数的複雑度スケーリングを達成できるか？
• RQ2 多様体化を施したフラットk-NNグラフは、HNSWと同等の探索効率を達成できるか？
• RQ3 HNSWの性能は、次元の呪いによってどの程度制限を受けるか？
• RQ4 異なるグラフベースのアプローチは、次元数の増加に伴いどのようにスケーリングするか？

主な発見

• HNSWにおける階層的構造は、高次元データにおいて期待される対数的複雑度スケーリングを達成しない。
• 多様体化されたフラットk-NNグラフでも、同程度の探索速度効率が達成可能であり、HNSWの階層的構造が性能向上に不可欠でない可能性を示唆する。
• HNSWも他のグラフベースの手法と同様に、次元の呪いの根本的制限に直面している。
• HNSWの高次元における性能劣化は、グラフベースの最近傍探索手法が直面する一般的な課題と整合的である。