[论文解读] Graph Reordering for Cache-Efficient Near Neighbor Search

Benjamin Coleman, Santiago Segarra+2 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Image and Video Retrieval Techniques参考文献 38被引用 5

一句话总结

本文提出图重排作为一种缓存优化技术，以加速基于图的近似最近邻搜索，特别是在分层可导航小世界（HNSW）索引中。通过重新排列节点以提高内存局部性，该方法减少了缓存未命中次数，在索引构建的开销可忽略不计的前提下，将查询时间最高提升40%。

ABSTRACT

Graph search is one of the most successful algorithmic trends in near neighbor search. Several of the most popular and empirically successful algorithms are, at their core, a simple walk along a pruned near neighbor graph. Such algorithms consistently perform at the top of industrial speed benchmarks for applications such as embedding search. However, graph traversal applications often suffer from poor memory access patterns, and near neighbor search is no exception to this rule. Our measurements show that popular search indices such as the hierarchical navigable small-world graph (HNSW) can have poor cache miss performance. To address this problem, we apply graph reordering algorithms to near neighbor graphs. Graph reordering is a memory layout optimization that groups commonly-accessed nodes together in memory. We present exhaustive experiments applying several reordering algorithms to a leading graph-based near neighbor method based on the HNSW index. We find that reordering improves the query time by up to 40%, and we demonstrate that the time needed to reorder the graph is negligible compared to the time required to construct the index.

研究动机与目标

• 解决基于图的近邻搜索中因内存访问模式不佳而导致的高缓存未命中率问题。
• 在对低延迟要求极高的大规模嵌入搜索系统中，提升查询性能。
• 评估通常用于图分析的图重排技术是否能加速近邻搜索——后者具有独特的访问模式。
• 在长期运行、高频查询的搜索索引背景下，确定重排算法的成本-收益权衡。
• 根据近邻图的独特结构特性，识别最有效的重排策略。

提出的方法

• 将六种最先进的图重排算法（包括基于目标的（Gorder, RCM）和轻量级（基于度数）方法）应用于HNSW索引。
• 通过重排节点，将频繁访问的邻居聚集在连续的内存区域，从而在图遍历过程中提升CPU缓存利用率。
• 使用束搜索作为访问模式模型以指导重排，反映HNSW查询执行中的典型节点访问行为。
• 在标准基准测试（SIFT100M、GIST、DEEP100M）上测量性能，以查询时间和缓存未命中率作为关键指标。
• 将重排开销与索引构建时间进行比较，以评估在生产环境中的实际可行性。
• 评估重排对召回率和索引结构的影响，确认其不会改变搜索行为或准确性。

实验结果

研究问题

• RQ1 图重排是否能显著减少HNSW-based近邻搜索中的缓存未命中次数并提升查询性能？
• RQ2 在近邻图中，基于目标的重排方法与轻量级重排方法，哪种策略能带来最佳性能提升？
• RQ3 在实际部署中，重排所需时间与构建HNSW索引所需时间相比如何？
• RQ4 重排的有效性是否随数据集大小、维度或每样本存储成本而变化？
• RQ5 重排能否与量化或降维等其他优化技术协同作用，以提升基于图的搜索性能？

主要发现

• 在DEEP100M和SIFT100M等大规模数据集上，图重排可将查询时间最高减少40%，尤其在高召回率场景下效果显著。
• 基于目标的重排方法（如Gorder和RCM）始终带来最高的加速比，根据数据集大小和召回水平，性能提升达10%–40%。
• 重排所需时间通常比HNSW索引构建时间小一个数量级，因此在生产环境中具有实际可行性。
• 基于局部节点特征（如度数聚类）的轻量级重排算法对近邻图无效，可能是因为其存在病态的度数分布。
• 重排与索引无关，适用于任何依赖顺序节点遍历的基于图的搜索方法，表明其具有广泛的兼容性。
• 当与降维或量化技术结合时，重排的优势进一步放大，因为更小的子空间能进一步提升缓存局部性。