[论文解读] A Comprehensive Survey and Experimental Comparison of Graph-Based Approximate Nearest Neighbor Search

Mengzhao Wang, Xiaoliang Xu+2 more|arXiv (Cornell University)|Jan 29, 2021

Data Management and Algorithms被引用 10

一句话总结

本文对13种代表性基于图的近似最近邻搜索（ANNS）算法进行了全面的综述与实验比较，提出了一种新的分类体系和细粒度的评估流程，以实现公平评估。通过在20个不同数据集上进行统一测试，识别出关键的设计原则，进而提出一种优化算法，在准确率-效率权衡上超越了现有最先进方法，同时提升了构建速度和内存效率。

ABSTRACT

Approximate nearest neighbor search (ANNS) constitutes an important operation in a multitude of applications, including recommendation systems, information retrieval, and pattern recognition. In the past decade, graph-based ANNS algorithms have been the leading paradigm in this domain, with dozens of graph-based ANNS algorithms proposed. Such algorithms aim to provide effective, efficient solutions for retrieving the nearest neighbors for a given query. Nevertheless, these efforts focus on developing and optimizing algorithms with different approaches, so there is a real need for a comprehensive survey about the approaches' relative performance, strengths, and pitfalls. Thus here we provide a thorough comparative analysis and experimental evaluation of 13 representative graph-based ANNS algorithms via a new taxonomy and fine-grained pipeline. We compared each algorithm in a uniform test environment on eight real-world datasets and 12 synthetic datasets with varying sizes and characteristics. Our study yields novel discoveries, offerings several useful principles to improve algorithms, thus designing an optimized method that outperforms the state-of-the-art algorithms. This effort also helped us pinpoint algorithms' working portions, along with rule-of-thumb recommendations about promising research directions and suitable algorithms for practitioners in different fields.

研究动机与目标

• 在统一的评估框架下，对13种代表性基于图的ANNS算法进行系统化、公平且全面的比较。
• 识别不同算法组件在多种尺寸和特征各异的数据集上的优势、劣势及性能趋势。
• 基于大量实验的实证发现，提炼出可操作的设计原则，以改进ANNS算法。
• 开发一种优化的ANNS算法，使其在准确率、效率和内存使用方面超越现有最先进方法。
• 为实践者和研究人员提供指导，使其能根据数据集特性和应用需求选择合适的算法。

提出的方法

• 提出一种新的七组件分类体系，将基于图的ANNS算法分解为独立、可分析的阶段：索引构建、邻居选择、候选集管理、图剪枝、连通性维护、搜索初始化和路由策略。
• 采用细粒度、模块化的流程，独立隔离并评估各个算法组件，同时在所有实验中保持一致性。
• 在八个真实世界和十二个合成数据集上使用统一的测试环境，确保算法性能比较的公平性。
• 提出一种新型优化算法（OA），整合了所评估算法中表现最佳的组件，包括使用NN-Descent进行初始化、C2_NSSG进行候选选择、C3_NSG进行剪枝，以及C7_HCNNG/C7_NSW进行两阶段搜索路由。
• 在索引构建过程中采用深度优先遍历以确保图的连通性，并使用随机种子选择进行搜索启动。
• 采用召回率@k和加速比作为主要指标，评估所有配置下的准确率与效率权衡。

实验结果

研究问题

• RQ1 不同基于图的ANNS算法在具有不同维度、大小和数据分布的多样化真实世界与合成数据集上的表现如何？
• RQ2 哪些算法组件（如邻居选择、剪枝、路由）对准确率和效率的影响最大？
• RQ3 RNG-based、MST-based和KNNG/DG-based图结构在ANNS中的相对优势与劣势是什么？
• RQ4 统一的评估框架是否能在多个数据集和算法间揭示一致的性能趋势与设计原则？
• RQ5 如何利用组件级分析的洞察，设计一种新型优化ANNS算法，使其超越现有最先进方法？

主要发现

• 优化的ANNS算法（OA）在准确率-效率权衡上表现卓越，在真实世界和合成数据集上均优于所有评估的最先进算法。
• RNG-based算法（如HNSW、NSG）始终优于KNNG-和DG-based方法，尤其在高维和困难数据集上，证实了其在当前研究中的主导地位。
• MST-based算法表现出色，尤其在挑战性数据集上，表明其作为RNG-based方法的有前途替代方案具有潜力。
• 组件级分析表明，邻居选择（C2_NSSG）和剪枝（C3_NSG）显著提升了搜索质量并减少了候选集大小，直接增强了效率。
• 采用两阶段路由（先C7_HCNNG后C7_NSW）提升了搜索准确率和收敛速度，尤其在高维空间中表现突出。
• 图构建时间仍是主要瓶颈，基于图的方法在构建成本上高于哈希、树或量化方法，凸显了实时索引中的关键挑战。