[论文解读] Graph based Nearest Neighbor Search: Promises and Failures

Peng-Cheng Lin, Wan‐Lei Zhao|arXiv (Cornell University)|Apr 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 26被引用 10

一句话总结

本文研究基于图的最近邻搜索方法，特别是HNSW和多样化邻近图，揭示了在高维空间中，分层结构相较于平面图并无显著优势。研究证明，图多样化可使平面图在速度上匹配甚至超越HNSW，同时指出所有基于图的方法在高维空间中均受维度灾难的根本性限制。

ABSTRACT

Recently, graph based nearest neighbor search gets more and more popular on large-scale retrieval tasks. The attractiveness of this type of approaches lies in its superior performance over most of the known nearest neighbor search approaches as well as its genericness to various metrics. In this paper, the role of two strategies, namely hierarchical structure and graph diversification that are adopted as the key steps in the graph based approaches, is investigated. We find the hierarchical structure could not achieve "much better logarithmic complexity scaling" as it was claimed in the original paper, particularly on high dimensional cases. Moreover, we find that similar high search speed efficiency as the one with hierarchical structure could be achieved with the support of flat k-NN graph after graph diversification. Finally, we point out the difficulty, that is faced by most of the graph based search approaches, is directly linked to "curse of dimensionality".

研究动机与目标

• 评估分层结构与图多样化在基于图的最近邻搜索中的有效性。
• 探究基于图的方法在高维数据中性能下降的原因。
• 在不同维度下比较HNSW与多样化平面k-NN图的性能。
• 识别高维最近邻搜索性能下降的根本原因。
• 确定平面图经多样化处理后是否可匹配或超越分层方法。

提出的方法

• 本研究在合成数据集和真实数据集上，对HNSW与多样化邻近图（DPG）方法进行比较，数据集维度逐步增加。
• 通过测量达到查询指定距离范围所需的比较次数，评估搜索效率。
• 分析聚焦于搜索过程中的‘远邻域’与‘近邻域’区域，尤其关注后者对性能的影响。
• 研究者使用top-k列表机制模拟爬山式搜索，并分析低维与高维下收敛行为的差异。
• 在RAND10M4D、RAND10M16D、RAND10M32D和RAND1M100D等数据集上进行实验，以隔离维度的影响。
• 通过距离范围上的比较次数的可视化与统计分析，揭示高维搜索中的低效性。

实验结果

研究问题

• RQ1 HNSW中的分层结构在高维数据中是否相较于平面k-NN图具有显著性能优势？
• RQ2 仅靠图多样化是否可实现与分层结构相当或更优的搜索效率？
• RQ3 为何尽管在低维空间中表现良好，基于图的方法在高维环境中仍会失效？
• RQ4 维度灾难如何具体影响k-NN图中爬山式搜索的收敛性与效率？
• RQ5 top-k列表大小与邻域连通性在高维空间中在多大程度上影响搜索性能？

主要发现

• 在低维数据（如4D）中，HNSW的分层结构仅带来约2倍的加速，但当维度超过32后，该优势完全消失。
• 在高维数据（如100D）中，'近邻域'区域所需的比较次数主导了总成本，使得分层结构的优势可忽略不计。
• 通过图多样化增强的平面k-NN图在搜索效率上可与HNSW相当或更优，尤其在高维设置下表现更佳。
• 维度灾难导致k-NN图中出现孤立邻域，使爬山式搜索难以逃离局部最优或高效探索密集区域。
• 在高维空间中，'近邻域'区域在邻接列表中变得非凸且不连通，导致搜索行为趋于穷举式，从而损害效率。
• 当数据维度与内在维度均较高时，所有基于图的方法均面临类似低效性，无论其结构设计如何。