[论文解读] ANN-Benchmarks: A Benchmarking Tool for Approximate Nearest Neighbor Algorithms

Martin Aumüller, Erik Bernhardsson+1 more|arXiv (Cornell University)|Jul 15, 2018

Anomaly Detection Techniques and Applications被引用 5

一句话总结

ANN-Benchmarks 是一个用于在不同数据集和质量度量标准下评估近似最近邻（ANN）算法的自动化、标准化基准测试框架。它通过测试多种参数配置，系统性地比较 HNSW 和 FAISS-IVF 等算法，揭示出在高召回率下基于图的方法优于其他方法，同时支持新度量标准和自动调参研究的可扩展评估。

ABSTRACT

This paper describes ANN-Benchmarks, a tool for evaluating the performance of in-memory approximate nearest neighbor algorithms. It provides a standard interface for measuring the performance and quality achieved by nearest neighbor algorithms on different standard data sets. It supports several different ways of integrating $k$-NN algorithms, and its configuration system automatically tests a range of parameter settings for each algorithm. Algorithms are compared with respect to many different (approximate) quality measures, and adding more is easy and fast; the included plotting front-ends can visualise these as images, $\LaTeX$ plots, and websites with interactive plots. ANN-Benchmarks aims to provide a constantly updated overview of the current state of the art of $k$-NN algorithms. In the short term, this overview allows users to choose the correct $k$-NN algorithm and parameters for their similarity search task; in the longer term, algorithm designers will be able to use this overview to test and refine automatic parameter tuning. The paper gives an overview of the system, evaluates the results of the benchmark, and points out directions for future work. Interestingly, very different approaches to $k$-NN search yield comparable quality-performance trade-offs. The system is available at http://ann-benchmarks.com .

研究动机与目标

• 解决在多样化数据集和度量标准下，近似最近邻算法缺乏标准化、可复现评估的问题。
• 提供一个统一、自动化的基准测试系统，支持多种算法实现和参数配置。
• 使研究人员和实践者能够为特定的相似性搜索任务选择最优算法和参数。
• 通过提供自调参算法评估的基准测试模式，支持未来在自动参数调优方面的研究。
• 将基准测试扩展至新度量标准（例如，Jaccard 距离）和新查询模式（例如，批量查询）。

提出的方法

• 该框架为集成 k-NN 算法提供标准接口，抽象输入/输出和参数处理逻辑。
• 通过可配置的系统自动测试每个算法的广泛参数设置。
• 使用多种质量度量标准（例如，召回率、每秒查询数 QPS）评估性能，并通过交互式图表和 LaTeX 输出进行可视化。
• 支持多种距离度量标准，包括欧几里得距离和余弦距离，并可扩展以支持如 Jaccard 距离这类用于集合相似性的新度量标准。
• 包含一种基准测试模式，用于测试自调参能力，即算法在完整训练前先在小部分数据子集上进行自我调优。
• 该框架存储详细的运行数据，支持对平均性能之外的后验分析，例如查询时间的方差。

Figure 2 . Overview of the interaction between ANN-Benchmarks and an algorithm instance under test.

实验结果

研究问题

• RQ1 在标准数据集上，不同近似最近邻算法在召回率和查询性能（QPS）方面的表现如何？
• RQ2 算法参数（例如，索引大小、构建设置）的变化对性能-质量权衡有何影响？
• RQ3 在多样化数据集上，哪些算法方法（例如，基于图、基于树、LSH）在速度与召回率之间实现了最佳权衡？
• RQ4 具有不同结构特性的数据集（例如，真实世界数据 vs. 随机数据）如何影响算法行为和性能？
• RQ5 该框架能否支持并评估近似最近邻算法的自动参数调优策略？

主要发现

• 基于图的算法（如 HNSW 和 KGraph）在高召回率下优于其他方法，尤其在复杂数据集上表现更优。
• 在高召回率下，更大的索引通常能带来更好的性能，并对查询参数选择更具鲁棒性。
• 对于具有困难查询的数据集，基于图的方法在索引构建时间上存在显著瓶颈。
• 在随机数据集上，算法行为显著分化，表明数据集结构对性能有显著影响。
• 该框架实现了稳定、可复现的评估，并揭示出看似截然不同的算法方法可实现相似的质量-性能权衡。
• 目前初步支持了基于 Jaccard 距离的集合相似性度量，但该度量标准下的算法实现仍不完整。

Figure 3 . Interactive plot screen from framework’s website (cropped). Plot shows “Queries per second” ( $y$ -axis, log-scaled) against “Recall” ( $x$ -axis, not shown). Highlighted data point corresponds to a run of Annoy with parameters as depicted, giving about 1249 queries per second for a recal