[论文解读] Improving Similarity Search with High-dimensional Locality-sensitive Hashing

Jaiyam Sharma, Saket Navlakha|arXiv (Cornell University)|Dec 5, 2018

Advanced Image and Video Retrieval Techniques参考文献 24被引用 7

一句话总结

本文提出了DenseFly和FlyHash两种数据无关的局部敏感哈希（LSH）方法，受果蝇嗅觉系统启发，利用高维二值哈希提升相似性搜索性能。通过将输入投影到高维空间并结合稀疏二值投影与胜者全取（winner-take-all）稀疏化机制，该方法在六个基准数据集上实现了卓越的最近邻检索性能，并保持了相似性排序的保真度，优于现有LSH技术，同时保持计算效率。

ABSTRACT

We propose a new class of data-independent locality-sensitive hashing (LSH) algorithms based on the fruit fly olfactory circuit. The fundamental difference of this approach is that, instead of assigning hashes as dense points in a low dimensional space, hashes are assigned in a high dimensional space, which enhances their separability. We show theoretically and empirically that this new family of hash functions is locality-sensitive and preserves rank similarity for inputs in any `p space. We then analyze different variations on this strategy and show empirically that they outperform existing LSH methods for nearest-neighbors search on six benchmark datasets. Finally, we propose a multi-probe version of our algorithm that achieves higher performance for the same query time, or conversely, that maintains performance of prior approaches while taking significantly less indexing time and memory. Overall, our approach leverages the advantages of separability provided by high-dimensional spaces, while still remaining computationally efficient

研究动机与目标

• 开发一类受果蝇嗅觉环路启发的新一代数据无关局部敏感哈希算法，以提升高维数据中相似性搜索的性能。
• 证明高维二值哈希可在任意ℓp范数下增强可分性并保持相似性排序关系，从而提升最近邻检索的准确性。
• 设计一种多探针变体，实现对高维哈希的高效分桶，解决高维LSH中的一个关键开放问题。
• 在仅引入极低计算开销的前提下实现卓越性能，包括仅使用一张哈希表进行部署。
• 在六个基准数据集上验证该方法，并展示其在SimHash、WTAHash和FlyHash等现有LSH方法上的持续优势。

提出的方法

• 该方法采用受果蝇嗅觉系统启发的三层架构：输入气味在50维空间中编码，经均值中心化后投影至50维，再通过稀疏二值随机投影映射到2000维。
• 每个高维哈希通过稀疏二值随机投影矩阵生成，随后应用全局胜者全取机制，仅保留激活值最高的5%单元。
• 最终生成的哈希为高维空间中的稀疏二值向量（例如2000维），从而增强可分性并保持输入空间中的相似性关系。
• 本文提出FlyHash作为变体，理论上证明其可在任意ℓp范数下保持排序相似性，并通过实证结果加以验证。
• 提出一种多探针扩展，通过低维中间表示实现对高维哈希空间中多个桶的高效探测，从而提升搜索性能。
• 该方法保持线性时间与空间复杂度，实现低索引成本，支持实际部署。

实验结果

研究问题

• RQ1 受果蝇嗅觉环路启发的高维二值哈希方法，是否能在最近邻搜索中超越现有数据无关LSH方法？
• RQ2 所提出的高维哈希策略是否如理论所声称的那样，在任意ℓp范数下保持排序相似性？
• RQ3 能否高效设计适用于高维哈希的多探针策略，在不增加空间或时间复杂度的前提下提升搜索性能？
• RQ4 DenseFly在不同数据集和哈希长度下，与SimHash、WTAHash和FlyHash相比表现如何？
• RQ5 WTA因子与哈希长度的变化对排序相关性与检索准确率有何影响？

主要发现

• 在六个基准数据集上，DenseFly在召回率与精确率方面均优于SimHash、WTAHash和FlyHash，在16位哈希长度下于MNIST数据集上实现了42.5%的Kendall-τ排序相关性。
• FlyHash在所有ℓp范数下均保持了排序相似性，且排序相关性高于先前方法，在16位长度下于GLoVE数据集上达到28.1%的Kendall-τ。
• FlyHash的多探针版本（FlyHash-MP）在保持相近时间与空间复杂度的前提下，性能优于标准FlyHash。
• 在MNIST数据集上，DenseFly在32位哈希长度下实现了0.480的Kendall-τ排序相关性，显著优于WTAHash（0.375）和FlyHash（0.375）。
• 该方法仅使用一张哈希表即实现高性能，简化了部署流程，并相比多表LSH方案显著降低了内存开销。
• 实证结果证实，高维哈希可增强可分性并提升检索准确率，且无需增加计算成本。