[论文解读] Algorithm Engineering for High-Dimensional Similarity Search Problems (Invited Talk)

Masajiro Iwasaki|arXiv (Cornell University)|Oct 17, 2018

Advanced Image and Video Retrieval Techniques参考文献 22被引用 39

一句话总结

本文提出了一种基于图的索引框架，用于高维相似性搜索，通过同时优化节点的入度和出度，平衡搜索准确率与查询效率。通过引入静态、受限和动态的度数调节方法，结合路径优化与已访问节点管理，该方法在图像和文本数据集上的查询时间更短、准确率更高，优于先前方法，并具备自动参数调优以实现最佳性能。

ABSTRACT

Searching for high-dimensional vector data with high accuracy is an inevitable search technology for various types of data. Graph-based indexes are known to reduce the query time for high-dimensional data. To further improve the query time by using graphs, we focused on the indegrees and outdegrees of graphs. While a sufficient number of incoming edges (indegrees) are indispensable for increasing search accuracy, an excessive number of outgoing edges (outdegrees) should be suppressed so as to not increase the query time. Therefore, we propose three degree-adjustment methods: static degree adjustment of not only outdegrees but also indegrees, dynamic degree adjustment with which outdegrees are determined by the search accuracy users require, and path adjustment to remove edges that have alternative search paths to reduce outdegrees. We also show how to obtain optimal degree-adjustment parameters and that our methods outperformed previous methods for image and textual data.

研究动机与目标

• 解决高维相似性搜索中搜索准确率与查询时间之间的权衡问题。
• 通过联合优化入度和出度，改进基于图的索引，而以往工作通常将两者独立处理。
• 根据用户指定的准确率要求，实现查询时的出度动态调节。
• 通过消除具有替代路径的冗余边，减少查询时间。
• 通过优化已访问节点管理，加速查询处理。

提出的方法

• 提出静态度数调节方法，利用 k-近邻图（KNNG）中的边及其反向边，控制入度和出度。
• 引入受限静态度数调节方法，通过用户定义的边界更精确地调节入度和出度。
• 开发动态度数调节方法，在查询时基于所需准确率设置最优出度，使用参数 ǫ 控制探索半径。
• 引入路径调节方法，移除具有替代路径的捷径边，降低出度和查询成本。
• 通过自定义数据结构改进已访问节点管理，降低图遍历时的开销。
• 通过经验优化自动调优度数参数（eo, ei），以在目标数据集上最大化性能。

实验结果

研究问题

• RQ1 在 KNNG 中联合优化入度和出度是否能同时提升搜索准确率和查询时间？
• RQ2 基于所需准确率的动态度数调节与静态设置相比，性能表现如何？
• RQ3 路径调节（移除冗余边）在不降低准确率的前提下，能在多大程度上减少查询时间？
• RQ4 所提出的已访问节点管理在减少查询时间开销方面有多有效？
• RQ5 能否为不同数据集自动确定最优度数参数，以实现一致的性能提升？

主要发现

• 所提出的动态度数调节方法在查询时间和准确率方面均优于静态方法和先前方法，尤其在高精度水平下表现更优。
• 路径调节通过消除具有替代路径的边，显著降低了出度和查询时间，且未降低搜索准确率。
• 改进的已访问节点管理比标准容器（无序映射、数组）更有效地减少了查询时间开销，尤其在高精度场景下，初始化开销可忽略不计。
• 最优度数参数（eo, ei）在不同数据集规模下表现稳定，表明在子集上进行优化即可为大规模数据集获得近似最优结果。
• 该方法在搜索中实现了 O(log n) 的时间复杂度，表明其能高效扩展至更大数据集。
• 在 SIFT 10M 数据集上，该方法在距离计算次数和查询时间方面均优于 ANNG、AKNNG、SAC 和 PANNG，展现出卓越的效率与准确率。