[论文解读] DB-LSH: Locality-Sensitive Hashing with Query-based Dynamic Bucketing

Yao Tian, Xi Zhao+1 more|arXiv (Cornell University)|Jul 16, 2022

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

DB-LSH 提出了一种新颖的局部敏感哈希方案，通过基于查询的动态分桶与多维索引，实现次线性查询时间并减少索引大小。通过在查询时动态构建超立方体桶，而非依赖固定的哈希表，它避免了哈希边界问题，并在高维数据集上实现了理论上的 ρ* 界为 1/c^α，优于以往方法在效率和准确性方面的表现。

ABSTRACT

Among many solutions to the high-dimensional approximate nearest neighbor (ANN) search problem, locality sensitive hashing (LSH) is known for its sub-linear query time and robust theoretical guarantee on query accuracy. Traditional LSH methods can generate a small number of candidates quickly from hash tables but suffer from large index sizes and hash boundary problems. Recent studies to address these issues often incur extra overhead to identify eligible candidates or remove false positives, making query time no longer sub-linear. To address this dilemma, in this paper we propose a novel LSH scheme called DB-LSH which supports efficient ANN search for large high-dimensional datasets. It organizes the projected spaces with multi-dimensional indexes rather than using fixed-width hash buckets. Our approach can significantly reduce the space cost as by avoiding the need to maintain many hash tables for different bucket sizes. During the query phase of DB-LSH, a small number of high-quality candidates can be generated efficiently by dynamically constructing query-based hypercubic buckets with the required widths through index-based window queries. For a dataset of $n$ $d$-dimensional points with approximation ratio $c$, our rigorous theoretical analysis shows that DB-LSH achieves a smaller query cost ${O(n^{ρ^*} d\log n)}$, where ${ρ^*}$ is bounded by ${1/c^α}$ while the bound is ${1/c}$ in the existing work. An extensive range of experiments on real-world data demonstrates the superiority of DB-LSH over state-of-the-art methods on both efficiency and accuracy.

研究动机与目标

• 解决高维近似最近邻（ANN）搜索中索引大小与查询效率之间的权衡问题。
• 克服传统 LSH 方法中固定宽度桶导致的哈希边界问题与误报问题。
• 在不增加候选过滤或碰撞计数额外开销的情况下，实现次线性查询时间。
• 通过用单个多维索引结构替代多个固定哈希表，减少索引大小。
• 提供更强的理论保证，查询成本的 ρ* 界为 1/c^α，优于现有方法的 1/c 界。

提出的方法

• DB-LSH 通过使用多维索引存储投影点，而非固定宽度的哈希桶，将哈希与分桶解耦。
• 在查询时，它基于查询点的位置动态构建超立方体桶，利用基于索引的窗口查询检索候选点。
• 桶的宽度根据每个查询自适应确定，以确保高质量的候选集同时最小化误报。
• 它利用一个理论框架，其中 ρ* ≤ 1/c^α，优于先前 LSH 方法中 ρ ≤ 1/c 的界。
• 该方法通过空间索引避免碰撞计数，从而保持次线性查询复杂度。
• 它支持 c-ANN 和 (r,c)-NN 查询，并对成功概率和近似比提供强理论保证。

实验结果

研究问题

• RQ1 基于查询上下文的动态分桶是否能减少高维 ANN 搜索中的索引大小并提升查询效率？
• RQ2 消除固定宽度哈希表是否能解决哈希边界问题并减少误报？
• RQ3 在实现比现有 LSH 方法更紧的 ρ* 界的同时，能否维持次线性查询成本？
• RQ4 在真实世界数据集上，DB-LSH 与最先进 LSH 方法相比，在查询时间、召回率和索引大小方面表现如何？
• RQ5 与静态或基于碰撞计数的 LSH 变体相比，基于多维索引的动态分桶能否实现更好的准确率-效率权衡？

主要发现

• DB-LSH 实现了理论查询成本 O(n^ρ*d log n)，其中 ρ* ≤ 1/c^α，显著优于先前工作中 1/c 的界。
• 在 Gist、TinyImages80M 和 SIFT10M 等真实世界数据集上，DB-LSH 在相同召回率下，相比第二好的方法，查询时间减少了 10% 至 70%。
• DB-LSH 在不同数据集大小下保持稳定的召回率和整体比率，即使 n 增大，准确性也无显著下降。
• DB-LSH 的索引大小为 O(n^{1+ρ*}d log n)，由于动态分桶，显著小于传统 (K,L)-索引方法。
• 在召回率-时间与整体比率-时间曲线中，DB-LSH 始终在更低的查询时间下达到比所有竞争者更高的准确性。
• 在所有测试的 k 值下，DB-LSH 的召回率比最佳竞争者高出 5%–10%，同时保持更快的查询时间。