[论文解读] Generic Inverted Index on the GPU

Jingbo Zhou, Qi Guo+5 more|arXiv (Cornell University)|Mar 28, 2016

Advanced Image and Video Retrieval Techniques参考文献 66被引用 7

一句话总结

本文提出GENIE，一种用于跨多种数据类型（如文档、序列和高维向量）的GPU加速相似性搜索的通用倒排索引框架。通过利用局部敏感哈希（LSH）和统一的GPU并行化，GENIE在多种相似性度量下实现了高效的近似最近邻搜索，同时支持哈希后和原始数据表示，从而在真实世界数据集上实现了高性能。

ABSTRACT

Data variety, as one of the three Vs of the Big Data, is manifested by a growing number of complex data types such as documents, sequences, trees, graphs and high dimensional vectors. To perform similarity search on these data, existing works mainly choose to create customized indexes for different data types. Due to the diversity of customized indexes, it is hard to devise a general parallelization strategy to speed up the search. In this paper, we propose a generic inverted index on the GPU (called GENIE), which can support similarity search of multiple queries on various data types. GENIE can effectively support the approximate nearest neighbor search in different similarity measures through exerting Locality Sensitive Hashing schemes, as well as similarity search on original data such as short document data and relational data. Extensive experiments on different real-life datasets demonstrate the efficiency and effectiveness of our system.

研究动机与目标

• 解决在单一可扩展框架中支持异构数据类型（如文档、序列、图和向量）相似性搜索的挑战。
• 通过设计一种针对GPU并行化进行优化的统一索引与搜索系统，克服为每种数据类型定制索引的局限性。
• 利用局部敏感哈希（LSH）在多种相似性度量下实现高效的近似最近邻搜索。
• 在不需为数据特定设计索引的情况下，支持对转换后（如哈希后）和原始数据表示的相似性搜索。

提出的方法

• 设计一种通用倒排索引结构，通过针对不同相似性度量量身定制的局部敏感哈希（LSH）方案，将数据项映射到哈希桶中。
• 实现GPU优化的数据结构和核函数，以并行化处理所有数据类型的索引构建和查询处理。
• 通过在同一框架内维护双重索引路径，同时支持基于LSH的近似搜索和原始数据上的精确搜索。
• 利用GPU内存合并和线程块调度技术，最大化哈希计算和候选检索过程中的吞吐量。
• 集成统一的查询处理管道，根据查询的相似性度量动态选择合适的LSH方案。
• 应用工作负载感知的内存管理策略，以处理可变大小的数据并减少GPU内存访问延迟。

实验结果

研究问题

• RQ1 一个单一的GPU优化索引框架是否能在无需为每种数据类型设计专用索引的情况下，高效支持跨多种数据类型的相似性搜索？
• RQ2 在通用倒排索引中使用LSH，是否能有效加速多种相似性度量下的近似最近邻搜索？
• RQ3 所提出的GPU并行化策略与基于CPU或专用索引的解决方案相比，能在多大程度上提升查询吞吐量？
• RQ4 该系统是否能在一个框架内高效支持基于LSH的近似搜索和基于原始数据的精确搜索？

主要发现

• GENIE通过在多种数据类型上利用GPU并行性，显著提升了查询处理速度，优于基于CPU的基线系统。
• 系统通过可配置的LSH方案支持多种相似性度量，实现了无需重新索引的有效近似最近邻搜索。
• GENIE在真实数据集（包括短文档和高维向量）上表现出高可扩展性，性能提升稳定一致。
• 统一的索引方法相比维护多个针对不同数据类型的专用索引，显著降低了工程实现复杂度。