[论文解读] Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets

Thiago Teixeira, George Teodoro+2 more|arXiv (Cornell University)|Oct 15, 2013

Advanced Image and Video Retrieval Techniques参考文献 31被引用 4

一句话总结

本文提出了一种可扩展的、分布式的局部敏感哈希（LSH）索引，用于高维、大规模多媒体相似性搜索，通过分层并行化、感知局部性的数据划分以及多探针技术，在801个CPU核心上实现了90%的效率。该方法处理了目前公开可用的最大数据集（10亿个128维SIFT向量），通信量减少了30%，相比基线划分策略性能提升了1.68倍。

ABSTRACT

Similarity search is critical for many database applications, including the increasingly popular online services for Content-Based Multimedia Retrieval (CBMR). These services, which include image search engines, must handle an overwhelming volume of data, while keeping low response times. Thus, scalability is imperative for similarity search in Web-scale applications, but most existing methods are sequential and target shared-memory machines. Here we address these issues with a distributed, efficient, and scalable index based on Locality-Sensitive Hashing (LSH). LSH is one of the most efficient and popular techniques for similarity search, but its poor referential locality properties has made its implementation a challenging problem. Our solution is based on a widely asynchronous dataflow parallelization with a number of optimizations that include a hierarchical parallelization to decouple indexing and data storage, locality-aware data partition strategies to reduce message passing, and multi-probing to limit memory usage. The proposed parallelization attained an efficiency of 90% in a distributed system with about 800 CPU cores. In particular, the original locality-aware data partition reduced the number of messages exchanged in 30%. Our parallel LSH was evaluated using the largest public dataset for similarity search (to the best of our knowledge) with $10^9$ 128-d SIFT descriptors extracted from Web images. This is two orders of magnitude larger than datasets that previous LSH parallelizations could handle.

研究动机与目标

• 解决Web规模、高维多媒体数据集中相似性搜索的可扩展性挑战。
• 克服在分布式非统一内存架构中顺序LSH实现的局限性。
• 设计一种并行LSH系统，避免数据复制并最小化通信开销。
• 在目前公开可用的最大多媒体数据集（10亿个128维SIFT描述符）上评估系统，以证明其在真实场景下的可扩展性。
• 通过多探针和高效数据划分策略，优化性能与内存效率。

提出的方法

• 将LSH分解为数据流管道，将哈希表管理与数据存储分离，避免数据复制。
• 通过每个节点的多线程有状态阶段实现分层并行化，减少数据分区数量，提升可扩展性。
• 使用基于LSH的映射实现感知局部性的数据划分，最小化节点间通信并提升数据访问局部性。
• 采用广泛异步设计，重叠通信与计算，提升吞吐量。
• 在LSH中引入多探针技术，减少所需哈希表数量，从而在保持搜索质量的同时限制内存使用。
• 优化多探针操作中的消息分组，减少通信量并提升性能。

实验结果

研究问题

• RQ1 在分布式内存环境中，LSH能否在不产生过高通信成本的情况下实现有效并行化？
• RQ2 感知局部性的数据划分策略在分布式LSH索引中对通信量和性能有何影响？
• RQ3 在分布式多探针LSH系统中，哈希表数量（L）、每张表的哈希函数数量（M）和探针数量（T）之间的最优权衡是什么？
• RQ4 分层并行化与多探针在多大程度上可减少内存占用，同时保持搜索质量？
• RQ5 所提出的系统在10亿个128维SIFT描述符的大规模数据集上如何扩展？

主要发现

• 所提出的分布式LSH在51个节点的801个CPU核心上实现了90%的效率，证明了在大规模系统上的强可扩展性。
• 基于LSH函数的感知局部性数据划分策略相比基线方法将消息传递减少了30%。
• 基于LSH的数据划分在性能上至少比取模和Z-order映射策略提升了1.68倍，且负载不均衡极低（1.80%）。
• 当L=6、M=32、T=60时，系统召回率约为0.74，执行时间随探针数T的增加呈次线性增长。
• 最优的哈希表数量（L）和每张表的函数数量（M）分别位于6–12和30–40的范围内，可在性能与内存使用之间实现良好平衡。
• 多探针技术显著减少了所需哈希表的数量，同时保持了高搜索质量，提升了内存效率。