[论文解读] Efficient Inner Product Approximation in Hybrid Spaces

Xiang Wu, Ruiqi Guo+3 more|arXiv (Cornell University)|Mar 20, 2019

Advanced Image and Video Retrieval Techniques参考文献 29被引用 6

一句话总结

该论文提出了一种新颖的方法，用于在结合稀疏和稠密向量的高维混合空间中高效近似计算内积，通过利用架构感知的数据结构，实现了超过10倍的加速，且召回率极高。该方法在十亿规模数据集上优于现有基线方法，使推荐系统和文档检索等实际应用中的快速、高精度相似性搜索成为可能。

ABSTRACT

Many emerging use cases of data mining and machine learning operate on large datasets with data from heterogeneous sources, specifically with both sparse and dense components. For example, dense deep neural network embedding vectors are often used in conjunction with sparse textual features to provide high dimensional hybrid representation of documents. Efficient search in such hybrid spaces is very challenging as the techniques that perform well for sparse vectors have little overlap with those that work well for dense vectors. Popular techniques like Locality Sensitive Hashing (LSH) and its data-dependent variants also do not give good accuracy in high dimensional hybrid spaces. Even though hybrid scenarios are becoming more prevalent, currently there exist no efficient techniques in literature that are both fast and accurate. In this paper, we propose a technique that approximates the inner product computation in hybrid vectors, leading to substantial speedup in search while maintaining high accuracy. We also propose efficient data structures that exploit modern computer architectures, resulting in orders of magnitude faster search than the existing baselines. The performance of the proposed method is demonstrated on several datasets including a very large scale industrial dataset containing one billion vectors in a billion dimensional space, achieving over 10x speedup and higher accuracy against competitive baselines.

研究动机与目标

• 为解决在结合稀疏和稠密特征的高维混合向量空间中实现高效相似性搜索的挑战。
• 开发一种在保持高精度的同时实现低延迟搜索的方法，克服仅针对稀疏或稠密数据的现有技术的局限性。
• 设计针对现代CPU架构优化的数据结构，以实现内存中的高性能。
• 实现在高达十亿向量的工业规模数据集上可扩展的、实时的相似性搜索。
• 在公开数据集和大规模工业数据集上，证明该方法在速度和召回率方面均优于最先进基线方法。

提出的方法

• 通过将混合向量之间的内积计算分解为独立的稀疏和稠密分量，实现高效计算。
• 采用混合索引结构，对稀疏分量使用倒排索引，对稠密分量使用乘积量化（PQ），以加速搜索。
• 采用两阶段检索：首先使用混合索引近似检索候选向量；其次仅对前几项候选向量计算精确内积，以确保精度。
• 系统针对现代CPU缓存层次结构和向量化指令进行优化，以最大化吞吐量并最小化延迟。
• 实现了分布式在线搜索系统，将数据集分片存储于200台服务器上，以支持低延迟、高吞吐量的在线查询。
• 该方法完整处理混合向量空间，无需将稠密分量转换为稀疏形式，从而保留性能和精度。

实验结果

研究问题

• RQ1 能否设计一种统一且高效的内积近似方法，用于现有技术失效的混合稀疏-稠密向量空间？
• RQ2 如何利用现代计算机架构特性来加速混合向量空间中的相似性搜索？
• RQ3 在混合稀疏性和稠密度的十亿维混合数据集中搜索时，速度与召回率之间的权衡如何？
• RQ4 与分别对稀疏和稠密分量进行索引相比，混合索引策略是否能在速度和精度上均表现更优？
• RQ5 所提出的方法在包含十亿向量和数万亿维的工业规模数据集上如何可扩展？

主要发现

• 在10亿向量、10亿维的工业数据集（QuerySim）上，该方法实现了91%的召回率@20，查询延迟为20.0毫秒，相比次优基线方法速度提升超过20倍。
• 该方法将同一数据集上所有向量对的相似性搜索时间从稀疏倒排索引的3个月和稀疏暴力搜索的9年，缩短至一周以内。
• 在Netflix和Movielens混合等公开数据集上，该方法实现了91–92%的召回率@20，延迟为18.8–2.6毫秒，显著快于具有相当或更好召回率的基线方法。
• 在200台服务器的在线分布式部署中，系统实现了平均79毫秒延迟下的90%召回率@20，满足实时生产环境要求。
• 该方法优于基于汉明距离的哈希（512位）和仅稠密PQ索引，后者尽管速度更快，但召回率严重下降（0–45%）。
• 即使稠密分量具有非平凡维度（如203维），该混合方法仍保持高精度，避免了纯稀疏或纯稠密方法中常见的性能下降。