[论文解读] A simpler and better LSH for Maximum Inner Product Search (MIPS)

Behnam Neyshabur, Nathan Srebro|arXiv (Cornell University)|Oct 21, 2014

Advanced Image and Video Retrieval Techniques被引用 3

一句话总结

本文提出了一种用于最大内积搜索（MIPS）的简单对称局部敏感哈希（LSH）方案，证明其在理论保证和实际性能方面均优于Shrivastava和Li提出的非对称LSH。此外，本文还识别出一种特定场景，在该场景中非对称性是必需的，需采用不同的非对称LSH设计。

ABSTRACT

We consider the problem of designing locality sensitive hashes (LSH) for inner product similarity, and of the power of asymmetric hashes in this context. Shrivastava and Li argue that there is no symmetric LSH for the problem and propose an asymmetric LSH based on different mappings for query and database points. However, we show there does exist a simple symmetric LSH that enjoys stronger guarantees and better empirical performance than the asymmetric LSH they suggest. We also show a variant of the settings where asymmetry is in-fact needed, but there a different asymmetric LSH is required.

研究动机与目标

• 挑战‘最大内积搜索（MIPS）不存在对称LSH’的假设。
• 设计一种对称LSH，使其在理论保证和实际性能方面均优于现有非对称方法。
• 识别并表征一种实际需要非对称哈希的特定场景，从而要求采用不同的非对称LSH设计。

提出的方法

• 基于输入向量的简单、可解析处理的变换，提出一种新颖的对称LSH用于MIPS。
• 该方法采用通用的随机投影方案，并通过特定缩放以在LSH框架下保持内积关系。
• 理论分析证明，新的对称LSH在更强的集中度界下满足所需的LSH性质。
• 通过在标准MIPS基准数据集上对比对称LSH与Shrivastava和Li的非对称LSH，开展实证评估。
• 识别出一种对称哈希会失效的数据分布场景，证明在此类情况下非对称性为必要。
• 该非对称变体基于一种针对对称哈希失效情况量身定制的映射策略推导得出。

实验结果

研究问题

• RQ1 能否构建一种具有可证明保证且性能优于现有非对称方法的对称LSH用于最大内积搜索（MIPS）？
• RQ2 所提出的对称LSH在理论和实践中是否均优于Shrivastava和Li的非对称LSH？
• RQ3 在何种条件下MIPS真正需要非对称哈希？此类非对称LSH应采取何种形式？

主要发现

• 所提出的对称LSH在理论集中度界方面强于Shrivastava和Li的非对称LSH。
• 实证结果表明，对称LSH在标准MIPS数据集上的搜索准确率和效率方面均优于非对称方法。
• 识别出一种特定数据分布场景，其中对称哈希无法保持内积排序，从而证明在此类情况下非对称性为必要。
• 在失效情况下，需要采用另一种非对称LSH设计，该设计通过理论分析推导并得到验证。
• 结果表明，对称与非对称LSH的选择在很大程度上取决于数据分布和内积结构。