[论文解读] Improved Asymmetric Locality Sensitive Hashing (ALSH) for Maximum Inner Product Search (MIPS)

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|Oct 20, 2014

Advanced Image and Video Retrieval Techniques参考文献 21被引用 31

一句话总结

本文提出 Sign-ALSH，一种新颖的非对称局部敏感哈希方案，通过符号随机投影将最大内积搜索（MIPS）转化为相关性近似最近邻搜索（correlation-NNS）。理论与实验结果表明，Sign-ALSH 在召回率和计算效率方面显著优于先前的 L2-ALSH 方法，尤其在数据范数变化时表现更优。

ABSTRACT

Recently it was shown that the problem of Maximum Inner Product Search (MIPS) is efficient and it admits provably sub-linear hashing algorithms. Asymmetric transformations before hashing were the key in solving MIPS which was otherwise hard. In the prior work, the authors use asymmetric transformations which convert the problem of approximate MIPS into the problem of approximate near neighbor search which can be efficiently solved using hashing. In this work, we provide a different transformation which converts the problem of approximate MIPS into the problem of approximate cosine similarity search which can be efficiently solved using signed random projections. Theoretical analysis show that the new scheme is significantly better than the original scheme for MIPS. Experimental evaluations strongly support the theoretical findings.

研究动机与目标

• 为解决高维空间中数据范数变化时高效最大内积搜索（MIPS）的挑战。
• 通过引入新的转换框架，克服对称哈希和先前非对称 LSH（L2-ALSH）的局限性。
• 开发一种可证明高效的哈希方案，在保持高检索精度的同时降低计算成本，以应对 MIPS 任务。
• 通过理论分析与实验验证，证明该新方案在 MIPS 任务中优于现有 ALSH 方法。

提出的方法

• 提出一种新型非对称转换，通过使用向量范数对查询点与数据点进行缩放，将 MIPS 映射为相关性-NNS。
• 采用符号随机投影（SRP）作为相关性-NNS 的 LSH 家族，哈希函数为 $ h^{\text{Sign}}(x) = \text{sign}(a^T x) $。
• 利用碰撞概率 $ \Pr(h^{\text{Sign}}(x) = h^{\text{Sign}}(y)) = 1 - \frac{1}{\pi} \cos^{-1}(\text{corr}(x,y)) $，确保相似度越高，碰撞概率越大。
• 应用变换 $ Q(q) = \frac{q}{\|q\|} $ 和 $ P(x) = \frac{x}{\|x\|} $，将 MIPS 转换为相关性-NNS。
• 在实际评估中采用 $(K,L)$-LSH 桶化方案，每张表使用 $ K $ 个哈希函数，共 $ L $ 张表。
• 在 $ K \in \{4,\dots,20\} $ 和 $ L \in \{1,\dots,200\} $ 范围内进行详尽的参数调优，以公平比较不同方案在 FIP 和召回率上的表现。

实验结果

研究问题

• RQ1 新的非对称转换是否能在 L2-ALSH 框架之外显著提升 MIPS 的效率与准确性？
• RQ2 通过符号随机投影将 MIPS 转换为相关性-NNS 是否能带来更优的理论与实证性能？
• RQ3 在召回率与内积评估比例（FIP）方面，Sign-ALSH 与 L2-ALSH 的性能相比如何？
• RQ4 Sign-ALSH 在 $ K $ 与 $ L $ 的不同参数设置下性能是否具有鲁棒性？

主要发现

• 在所有测试数据集和 top-$ T $ 值下，Sign-ALSH 的召回率显著高于 L2-ALSH，表明其检索质量更优。
• 在相同召回率水平下，Sign-ALSH 所需的内积评估次数（FIP）少于 L2-ALSH，证明其计算效率更优。
• Sign-ALSH 在不同 $ K $ 与 $ L $ 组合下表现一致，表明其对参数选择具有鲁棒性。
• 理论分析证实，Sign-ALSH 的 $ \rho $-值优于 L2-ALSH，意味着其具有更优的渐近查询时间复杂度。
• 在 LSH 桶化实验中，Sign-ALSH 在所有召回率水平下均实现了更优的 FIP-召回率权衡，且 FIP 更低。
• 在 MovieLens 与 SIFT 数据集上的结果一致，验证了该方法的泛化能力。