[论文解读] Clustering is Efficient for Approximate Maximum Inner Product Search

Alex Auvolat, Sarath Chandar+3 more|arXiv (Cornell University)|Jul 21, 2015

Advanced Image and Video Retrieval Techniques参考文献 19被引用 26

一句话总结

本文提出了一种简单但非常有效的方法，通过在将最大内积搜索（MIPS）问题转化为最大余弦相似度搜索（MCSS）后，利用球面k-means聚类实现近似最大内积搜索（MIPS）。该方法在保持或提升检索精度的同时，相比最先进的一致性哈希和树形方法实现了显著更高的加速比，并在噪声查询下表现出更优的鲁棒性。

ABSTRACT

Efficient Maximum Inner Product Search (MIPS) is an important task that has a wide applicability in recommendation systems and classification with a large number of classes. Solutions based on locality-sensitive hashing (LSH) as well as tree-based solutions have been investigated in the recent literature, to perform approximate MIPS in sublinear time. In this paper, we compare these to another extremely simple approach for solving approximate MIPS, based on variants of the k-means clustering algorithm. Specifically, we propose to train a spherical k-means, after having reduced the MIPS problem to a Maximum Cosine Similarity Search (MCSS). Experiments on two standard recommendation system benchmarks as well as on large vocabulary word embeddings, show that this simple approach yields much higher speedups, for the same retrieval precision, than current state-of-the-art hashing-based and tree-based methods. This simple method also yields more robust retrievals when the query is corrupted by noise.

研究动机与目标

• 解决大规模应用场景（如推荐系统和极端分类）中高效近似最大内积搜索（MIPS）的挑战。
• 克服现有方法（如局部敏感哈希LSH和树形方法）的局限性，这些方法通常在精度上有所牺牲，或在输入存在噪声时泛化能力不足。
• 探究简单的聚类方法是否能在近似MIPS中实现速度、精度和鲁棒性之间的更好权衡。
• 研究数据相关聚类策略相较于数据无关的哈希技术，在保留邻域结构和处理查询污染方面的有效性。

提出的方法

• 通过归一化向量，将原始MIPS问题转化为最大余弦相似度搜索（MCSS）问题，利用当向量具有统一范数时，内积最大化等价于余弦相似度最大化这一事实。
• 对数据向量应用球面k-means聚类，将嵌入空间划分为具有归一化中心的聚类。
• 对于给定查询，计算查询与每个聚类中心之间的余弦相似度，并选择相似度最高的前k个聚类作为候选集。
• 仅在所选聚类内的向量中执行精确的K-MIPS，从而大幅缩小搜索空间。
• 通过分层k-means或top-k聚类选择（例如选择前3或8个聚类）进一步优化候选集，以提高精度。
• 通过依赖全局聚类结构而非逐维投影来确保鲁棒性，使该方法对输入噪声的敏感性降低。

实验结果

研究问题

• RQ1 在近似K-MIPS任务中，简单的聚类方法是否能在加速比和精度方面超越最先进的哈希和树形方法？
• RQ2 在不同噪声水平的查询下，k-means聚类的性能与数据无关方法（如LSH）相比如何？
• RQ3 该聚类方法在向量空间中在多大程度上保留了邻域结构，尤其是在查询与训练点接近但不完全相同时？
• RQ4 与现有技术相比，该方法在动态学习设置中是否对未见或被污染的查询具有更好的泛化能力？
• RQ5 结合多个聚类或实时自适应聚类是否能进一步提升极端分类或推荐系统中的精度和速度？

主要发现

• 基于k-means的方法在Movielens-10M和Netflix数据集上实现了高达30倍的显著加速，相比最先进的一致性哈希和树形方法，同时保持或超越其精度。
• 在词嵌入检索任务中，k-means在top-10和top-100 MIPS中优于PCA-Tree和哈希方法（SRP-Hash、WTA-Hash），表明其具有更好的邻域保持能力。
• 该方法对查询噪声更具鲁棒性：当高斯噪声的标准差增加至0.4时，k-means在top-1和top-10检索中仍保持比其他算法更高的精度。
• 球面k-means聚类产生的候选集比数据无关的哈希方法更一致、更可靠，表明其对未见或轻微污染的查询具有更好的泛化能力。
• 分层k-means变体（选择前8个聚类）在计算成本未显著增加的情况下进一步提升了精度，展示了其可扩展性和有效性。
• 该方法在嵌入随训练过程动态演化的动态设置中表现出良好的泛化能力，减少了对MIPS索引频繁重新训练的需求。