[论文解读] Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|May 22, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用 255

一句话总结

该论文提出了非对称局部敏感哈希（ALSH），作为首个在近似最大内积搜索（MIPS）问题上实现可证明的亚线性时间复杂度的算法，克服了传统局部敏感哈希（LSH）的局限性。通过对接查询向量和数据向量应用非对称变换，该方法将内积最大化问题转化为变换空间中的近似近邻搜索，从而在理论保证下实现高效检索，并在Netflix和Movielens数据集上展现出优越的实验性能。

ABSTRACT

We present the first provably sublinear time algorithm for approximate \emph{Maximum Inner Product Search} (MIPS). Our proposal is also the first hashing algorithm for searching with (un-normalized) inner product as the underlying similarity measure. Finding hashing schemes for MIPS was considered hard. We formally show that the existing Locality Sensitive Hashing (LSH) framework is insufficient for solving MIPS, and then we extend the existing LSH framework to allow asymmetric hashing schemes. Our proposal is based on an interesting mathematical phenomenon in which inner products, after independent asymmetric transformations, can be converted into the problem of approximate near neighbor search. This key observation makes efficient sublinear hashing scheme for MIPS possible. In the extended asymmetric LSH (ALSH) framework, we provide an explicit construction of provably fast hashing scheme for MIPS. The proposed construction and the extended LSH framework could be of independent theoretical interest. Our proposed algorithm is simple and easy to implement. We evaluate the method, for retrieving inner products, in the collaborative filtering task of item recommendations on Netflix and Movielens datasets.

研究动机与目标

• 为解决推荐系统与机器学习中一个基础性问题——近似最大内积搜索（MIPS）缺乏高效且可证明的亚线性时间算法这一问题。
• 形式化说明标准局部敏感哈希（LSH）在MIPS中不足的原因，即内积未归一化以及向量范数差异显著。
• 扩展LSH框架，允许对查询向量和数据向量应用非对称变换，从而通过在变换空间中基于距离的搜索实现高效的MIPS。
• 提出一种理论基础坚实、易于实现的哈希方案用于MIPS，其性能优于现有基于LSH的方法（如L2LSH）在真实数据集上的表现。
• 在Netflix和Movielens数据集上，通过协同过滤任务对方法进行实证验证，结果表明在精确率与召回率方面均有显著提升。

提出的方法

• 提出非对称LSH（ALSH），作为标准LSH框架的扩展，对查询向量和数据向量分别应用不同的变换。
• 引入一种新颖的变换方法，通过利用内积在非对称缩放下所具备的数学性质，将内积最大化问题转化为变换空间中的近似近邻搜索问题。
• 使用带有精心选择参数的随机投影来构建哈希函数，确保在变换空间中高内积被保留为较小的L2距离。
• 通过参数（如哈希函数数量$K$、投影维度$m$和缩放因子$r$）定义哈希方案，并通过理论分析证明其具有亚线性查询时间。
• 通过将查询$q$和数据向量$x$分别经由非对称函数变换后，使用标准LSH在变换后的向量上查找候选结果，从而应用于MIPS。
• 通过实验优化参数$m$、$U$和$r$，其中$m=3$、$U=0.83$、$r=2.5$时达到近似最优性能。

实验结果

研究问题

• RQ1 能否设计出一种基于哈希的、可证明的亚线性时间算法来解决近似最大内积搜索（MIPS）问题？
• RQ2 为何标准LSH框架在解决MIPS问题时表现不足，尤其是在向量范数差异显著时？
• RQ3 能否通过对查询向量和数据向量应用非对称变换，将MIPS问题转化为近似近邻搜索，从而实现高效检索？
• RQ4 哪些数学性质使得内积在非对称变换下仍能被有效保留，以支持哈希应用？
• RQ5 与现有基于LSH的方法（如L2LSH）相比，所提出的ALSH方法在真实数据集上的检索准确率与效率方面表现如何？

主要发现

• 在Netflix和Movielens数据集上，所有测试的top-$T$检索设置（$T=1,5,10$）中，ALSH方法的精确率与召回率均显著优于L2LSH。
• 当$K=512$个哈希函数时，ALSH方法达到近似最优性能，且在所有测试的$r$值下均优于L2LSH。
• $r=2.5$时性能接近最优，且从精确率-召回率曲线可见，该方法对偏离此值的适度变化具有鲁棒性。
• 该方法对不同向量范数具有鲁棒性，这在协同过滤等实际应用中至关重要，因为物品向量的范数通常差异显著。
• ALSH的理论框架具有通用性，可进一步拓展至其他相似度度量，如三重内积搜索或二值数据哈希。
• 实证结果证实，ALSH为MIPS提供了一种实用、高效且可扩展的解决方案，适用于大规模系统中的快速推荐与目标检测。