[论文解读] A Survey on Locality Sensitive Hashing Algorithms and their Applications

Omid Jafari, Preeti Maurya+3 more|arXiv (Cornell University)|Feb 17, 2021

Advanced Image and Video Retrieval Techniques参考文献 123被引用 8

一句话总结

本综述全面回顾了局部敏感哈希（LSH）算法及其在高维近似最近邻搜索中的应用。它按哈希函数族对LSH技术进行分类，回顾了分布式LSH框架，并详细介绍了多媒体、生物信息学、时间序列、机器人学等领域的特定应用实现，突出展示了性能提升与算法权衡。

ABSTRACT

Finding nearest neighbors in high-dimensional spaces is a fundamental operation in many diverse application domains. Locality Sensitive Hashing (LSH) is one of the most popular techniques for finding approximate nearest neighbor searches in high-dimensional spaces. The main benefits of LSH are its sub-linear query performance and theoretical guarantees on the query accuracy. In this survey paper, we provide a review of state-of-the-art LSH and Distributed LSH techniques. Most importantly, unlike any other prior survey, we present how Locality Sensitive Hashing is utilized in different application domains.

研究动机与目标

• 提供高维空间中用于近似最近邻搜索的局部敏感哈希（LSH）及分布式LSH技术的最新研究综述。
• 识别并分析将LSH应用于实际应用中的关键挑战，特别是查询准确率、索引大小与查询速度之间的权衡。
• 通过系统性回顾LSH在多媒体、基因组学、时间序列和机器人学等多样化领域中的实际应用，弥合理论LSH方法与实际应用之间的差距。
• 指出传统LSH方法（如E2LSH）的局限性，并介绍先进变体（如QALSH、CFLSH、SLSH）以提升效率并支持多种距离度量。
• 为研究人员和实践者提供统一参考，根据应用需求和数据特征选择与调整LSH技术。

提出的方法

• 根据底层哈希函数族对LSH算法进行分类，例如基于欧氏距离（E2LSH）、余弦相似度（Min-Hash）和L1距离（L1LSH）的算法。
• 回顾基于Apache Spark构建的分布式LSH框架，以实现在大规模数据集上的可扩展、次线性性能。
• 分析高级LSH变体（如碰撞计数与虚拟重哈希）以在保持查询准确率的同时减小索引大小。
• 研究特定应用的LSH适配方法，包括用于多度量相似性搜索的分层LSH（SLSH）以及用于减少误报计算的碰撞频率LSH（CFLSH）。
• 评估LSH与深度学习技术的集成，例如在LSH索引前使用自编码器（BSS、HSS）对时间序列进行嵌入。
• 对100余篇跨领域的应用论文进行系统性文献回顾，以映射LSH的使用模式与性能结果。

实验结果

研究问题

• RQ1 在高维空间中，不同LSH族（如E2LSH、L1LSH、Min-Hash）在准确率、效率及对各种距离度量的支持方面如何比较？
• RQ2 分布式LSH框架在处理大规模数据工作负载时，其关键架构与性能优势是什么？
• RQ3 像QALSH、CFLSH和SLSH这样的高级LSH变体如何克服经典LSH方法（如E2LSH）的局限性？
• RQ4 LSH在时间序列分析、医学信号处理和机器人定位等特定领域任务中如何被有效应用？
• RQ5 现代LSH实现中，索引大小、查询速度与准确率之间的权衡是什么？这些权衡在实践中如何被优化？

主要发现

• 基于LSH的方法实现次线性查询性能，并提供查询准确率的理论保证，使其在高维近似最近邻搜索中极为高效。
• 基于Spark的分布式LSH框架显著加速处理过程，通过在集群中并行计算，大幅缩短大规模数据集的查询时间。
• 高级LSH变体（如QALSH和CFLSH）可减小索引大小并减少误报计算，从而在时间序列分析和医学信号检测等应用中提升效率。
• 分层LSH（SLSH）通过在不同层次支持不同的距离函数，实现多度量相似性搜索，增强了复杂应用中的灵活性。
• 在机器人学中，E2LSH和iLSH被用于扩展蒙特卡洛定位与基于特征的地图构建，实现在大环境中的实时定位。
• 特定应用的LSH处理流程（如使用自编码器在LSH索引前对时间序列进行嵌入）在急性低血压发作检测等任务中显著提升了检测准确率与处理速度。