[论文解读] A Greedy Approach for Budgeted Maximum Inner Product Search

Hsiang‐Fu Yu, Cho‐Jui Hsieh+2 more|arXiv (Cornell University)|Oct 11, 2016

Recommender Systems and Techniques参考文献 15被引用 15

一句话总结

本文提出 Greedy-MIPS，一种新颖的贪心算法，用于预算约束下的最大内积搜索（MIPS），可高效识别在计算预算下的 top-k 候选。通过使用基于选择的策略，无需近邻缩减，Greedy-MIPS 在 624K 向量数据集上相比朴素搜索实现了 200 倍的加速，同时保持 top-5 精度高于 75%，在相似速度约束下显著优于当前最先进方法。

ABSTRACT

Maximum Inner Product Search (MIPS) is an important task in many machine learning applications such as the prediction phase of a low-rank matrix factorization model for a recommender system. There have been some works on how to perform MIPS in sub-linear time recently. However, most of them do not have the flexibility to control the trade-off between search efficient and search quality. In this paper, we study the MIPS problem with a computational budget. By carefully studying the problem structure of MIPS, we develop a novel Greedy-MIPS algorithm, which can handle budgeted MIPS by design. While simple and intuitive, Greedy-MIPS yields surprisingly superior performance compared to state-of-the-art approaches. As a specific example, on a candidate set containing half a million vectors of dimension 200, Greedy-MIPS runs 200x faster than the naive approach while yielding search results with the top-5 precision greater than 75\%.

研究动机与目标

• 为解决大规模矩阵分解模型在预测阶段推理中的计算瓶颈，特别是在推荐系统中的应用。
• 开发一种方法，通过计算预算实现搜索效率与搜索质量之间的可控权衡。
• 克服现有 MIPS 方法在平衡速度与精度方面缺乏灵活性的局限性。
• 提出一种不依赖于最近邻搜索缩减的方法，而这是先前最先进技术中的常见做法。

提出的方法

• Greedy-MIPS 使用贪心选择策略，迭代识别与查询向量内积最高的候选向量。
• 它维护一个动态候选向量集合，并使用最大堆或选择树高效跟踪 top 候选，实现更新。
• 该算法直接在内积空间中运行，无需将问题转化为最近邻搜索，避免依赖复杂数据结构。
• 通过限制内积计算次数来支持计算预算，从而在运行时控制效率与精度之间的权衡。
• 该方法设计简洁高效，避免了其他方法中常见的昂贵预处理或索引步骤。
• 它结合使用算法 5（贪心选择）与算法 6（候选更新），在预算约束下保持高性能。

实验结果

研究问题

• RQ1 贪心且具备预算感知的策略是否能在速度与精度两方面超越当前最先进 MIPS 方法？
• RQ2 与采用固定预处理参数的方法相比，Greedy-MIPS 在不同计算预算下的表现如何？
• RQ3 消除对最近邻搜索缩减的需求是否能提升 MIPS 的效率与精度？
• RQ4 Greedy-MIPS 的性能如何随维度与数据集规模的增加而扩展？
• RQ5 Greedy-MIPS 是否能在实现比朴素搜索高数个数量级加速的同时，保持高精度（如 top-5）？

主要发现

• 在包含 624,961 个 200 维向量的 Yahoo-Music 数据集上，Greedy-MIPS 相比朴素方法实现 200 倍加速，同时保持 70% 的 top-5 精度。
• 在相同 200 倍加速条件下，无其他方法（包括 PCA-MIPS、LSH-MIPS 或 Diamond-MSIPS）的 top-5 精度超过 10%。
• Greedy-MIPS 在不同维度（k ∈ {2,5,7,10}）与不同数据集规模（n ∈ {2^17, ..., 2^20}）下均保持优越性能，且随着 n 增大，性能差距持续存在。
• 使用算法 5（贪心选择）结合选择树的方案优于其他变体，尤其在高维设置下表现更优。
• 该方法性能在维度增加时依然稳健，尽管与其他方法的差距略有缩小。
• 在所评估的方法中，Greedy-MIPS 是唯一原生支持预算化搜索的方法，可直接控制效率与精度之间的权衡。