[论文解读] An Approximate Algorithm for Maximum Inner Product Search over Streaming Sparse Vectors

Sebastian Bruch, Franco Maria Nardini+2 more|arXiv (Cornell University)|Jan 25, 2023

Optimization and Search Problems被引用 5

一句话总结

本文提出 Sinnamon，一种针对流式稀疏实值向量的近似最大内积搜索（MIPS）算法，现有精确方法因违反假设而失效。通过结合基于坐标值的压缩与倒排索引，Sinnamon 实现了内存、延迟与准确率之间的可调权衡，在多种向量分布的合成与真实数据集上均表现出高性能。

ABSTRACT

Maximum Inner Product Search or top-k retrieval on sparse vectors is well-understood in information retrieval, with a number of mature algorithms that solve it exactly. However, all existing algorithms are tailored to text and frequency-based similarity measures. To achieve optimal memory footprint and query latency, they rely on the near stationarity of documents and on laws governing natural languages. We consider, instead, a setup in which collections are streaming -- necessitating dynamic indexing -- and where indexing and retrieval must work with arbitrarily distributed real-valued vectors. As we show, existing algorithms are no longer competitive in this setup, even against naive solutions. We investigate this gap and present a novel approximate solution, called Sinnamon, that can efficiently retrieve the top-k results for sparse real valued vectors drawn from arbitrary distributions. Notably, Sinnamon offers levers to trade-off memory consumption, latency, and accuracy, making the algorithm suitable for constrained applications and systems. We give theoretical results on the error introduced by the approximate nature of the algorithm, and present an empirical evaluation of its performance on two hardware platforms and synthetic and real-valued datasets. We conclude by laying out concrete directions for future research on this general top-k retrieval problem over sparse vectors.

研究动机与目标

• 解决信息检索领域中针对流式、稀疏、实值向量的高效可扩展最大内积搜索（MIPS）方法缺乏的问题，这些向量不满足传统假设。
• 克服现有精确 MIPS 算法（如 WAND、JASS 和倒排索引）在应用于嵌入模型生成的非负、非整数或非齐普夫分布向量时性能下降的问题。
• 设计一种支持流式数据动态索引的系统，通过近似方法在保持低延迟与低内存消耗的同时实现高效处理。
• 提供近似引入误差的理论边界，并在多种硬件平台与数据分布上实证验证算法性能。

提出的方法

• Sinnamon 使用多组随机投影的压缩技术，将高维稀疏向量压缩为紧凑表示，降低存储与计算开销。
• 它在坐标值对上构建倒排索引，实现在查询处理过程中逐坐标高效检索。
• 该算法利用可调超参数 h（即随机映射数量）控制误差概率与内存使用之间的权衡。
• 采用两阶段检索流程：首先使用压缩结果近似筛选候选集；其次在缩减后的候选集中精确计算内积以完成最终排序。
• 通过增量更新压缩结果与倒排索引，支持流式数据的动态索引，适用于实时应用场景。
• 理论分析界定了 top-k 检索中误差概率的范围，表明增加 h 可使误差概率趋近于零，从而实现可预测的准确率控制。

实验结果

研究问题

• RQ1 能否设计一种近似 MIPS 算法，在任意非平稳实值稀疏向量分布下仍保持高效与准确？
• RQ2 在流式环境中，如何在不依赖非负性或齐普夫分布等假设的前提下，灵活实现内存、延迟与准确率之间的权衡？
• RQ3 近似倒排列表与压缩数据结构在多大程度上可减小索引大小而不损害检索质量？
• RQ4 理论误差边界能否用于基于查询预测所需候选集大小（k′）以实现期望的检索准确率？
• RQ5 如何通过统一或分离方法高效索引与检索同时包含密集与稀疏分量的混合向量？

主要发现

• 在实值、非整数及高熵稀疏向量上，Sinnamon 在性能上显著优于 WAND 和 JASS 等精确方法，后者在这些场景下性能严重下降。
• 在 G100 与 G200 合成数据集上，将压缩格式从 Roaring 替换为 PForDelta，使索引大小减少约 23%，从 1.7 GB 降至 1.3 GB，证明了离线压缩的显著影响。
• 增加 Sinnamon 中随机映射数量（h）可降低误差概率，并使其分布更接近零，从而在内存受限环境下实现更优的准确率控制。
• 理论分析表明，可通过 h 精确量化并控制误差概率，实现准确率与资源使用之间的可预测权衡。
• 实证评估证实，Sinnamon 在两种硬件平台与多种数据分布上均表现高效，包括 SPLADE 及其他模型生成的真实世界嵌入向量。
• 该算法使在精确方法因高延迟或内存开销而不可行的流式系统中实现实际部署成为可能。