[论文解读] k-NN Graph Construction: a Generic Online Approach.

Wan‐Lei Zhao|arXiv (Cornell University)|Apr 9, 2018

Advanced Image and Video Retrieval Techniques参考文献 33被引用 4

一句话总结

本文提出了一种通用的在线 k-NN 图构建方法，通过在不断演化的结构上迭代执行最近邻查询，联合解决 k-NN 检索与图构建问题。该方法支持动态更新，适用于任意距离度量，并在多种数据集和维度下展现出优异性能。

ABSTRACT

Nearest neighbor search and k-nearest neighbor graph construction are two fundamental issues arise from many disciplines such as information retrieval, data-mining, machine learning and computer vision. Despite continuous efforts have been taken in the last several decades, these two issues remain challenging. They become more and more imminent given the big data emerges in various fields and has been expanded significantly over the years. In this paper, a simple but effective solution both for k-nearest neighbor search and k-nearest neighbor graph construction is presented. Namely, these two issues are addressed jointly. On one hand, the k-nearest neighbor graph construction is treated as a nearest neighbor search task. Each data sample along with its k-nearest neighbors are joined into the k-nearest neighbor graph by sequentially performing the nearest neighbor search on the graph under construction. On the other hand, the built k-nearest neighbor graph is used to support k-nearest neighbor search. Since the graph is built online, dynamic updating of the graph, which is not desirable from most of the existing solutions, is supported. Moreover, this solution is feasible for various distance measures. Its effectiveness both as a k-nearest neighbor construction and k-nearest neighbor search approach is verified across various datasets in different scales, various dimensions and under different metrics.

研究动机与目标

• 应对在信息检索、机器学习和计算机视觉等多样化领域中，大数据时代下 k-NN 检索与 k-NN 图构建日益增长的挑战。
• 克服现有基于批处理的方法在缺乏动态更新支持以及通常仅限于特定距离度量方面的局限性。
• 开发一种统一的在线方法，将 k-NN 图构建视为在不断演化的图上进行一系列最近邻查询，从而实现实时适应性。
• 确保与任意距离度量的兼容性，从而增强在异构数据类型和应用场景中的适用性。

提出的方法

• 通过逐个处理每个数据点，并在当前图上执行最近邻搜索以识别其 k 个最近邻，从而增量式地构建 k-NN 图。
• 利用不断演化的 k-NN 图作为动态索引结构，加速构建过程中的后续最近邻查询。
• 通过支持新点的插入以及随图增长而重新计算现有邻居，实现在线更新。
• 利用图结构本身作为最近邻搜索的基础数据结构，避免使用独立的索引结构。
• 通过仅依赖距离比较进行邻居搜索和图构建，确保与任意距离度量的兼容性。
• 通过避免每次插入后重新计算整个图来保持效率与可扩展性。

实验结果

研究问题

• RQ1 k-NN 图构建与 k-NN 检索能否被有效统一为一个支持动态更新的在线过程？
• RQ2 所提出方法在不同数据规模和维度下，与现有基于批处理的 k-NN 图构建技术相比，性能如何？
• RQ3 该方法在不需算法重新配置的情况下，对不同距离度量的泛化能力如何？
• RQ4 与静态或批处理重建方法相比，该方法的在线特性是否能实现高效且可扩展的新数据更新？

主要发现

• 所提出方法通过将图构建过程视为在不断演化的结构上的一系列最近邻查询，实现了有效的 k-NN 图构建。
• 由于其在线构建机制，该方法天然支持动态更新，而大多数现有方法则需要完整重建。
• 该方法对任意距离度量均具有普适性，因为它仅依赖于距离比较，而不包含硬编码的假设。
• 实验评估证实，该方法在不同规模、维度和距离度量的数据集中均表现出有效性，展现出稳健的性能。
• 在线构建的 k-NN 图可作为 k-NN 检索的有效索引，显著降低查询时间并提升可扩展性。