[论文解读] In Defense of MinHash Over SimHash

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|Jul 16, 2014

Advanced Image and Video Retrieval Techniques参考文献 27被引用 61

一句话总结

本文从理论和实证两方面证明，在二值数据的近似最近邻搜索中，MinHash 的表现优于 SimHash，尽管 MinHash 本为相似性度量（resemblance）而设计，而 SimHash 本为余弦相似性（cosine similarity）而设计。通过证明 MinHash 是余弦相似性的一种有效局部敏感哈希（LSH）方案，利用不等式 $\mathcal{S}^2 \leq \mathcal{R} \leq \frac{\mathcal{S}}{2 - \mathcal{S}}$，作者表明 MinHash 在显著减少数据扫描次数的前提下，实现了更高的召回率——例如在 MNIST 数据集上实现 90% 召回率时，MinHash 仅需扫描 0.6% 的数据，而 SimHash 需要 5%——这表明即使在余弦相似性指标下评估，MinHash 依然更优。

ABSTRACT

MinHash and SimHash are the two widely adopted Locality Sensitive Hashing (LSH) algorithms for large-scale data processing applications. Deciding which LSH to use for a particular problem at hand is an important question, which has no clear answer in the existing literature. In this study, we provide a theoretical answer (validated by experiments) that MinHash virtually always outperforms SimHash when the data are binary, as common in practice such as search. The collision probability of MinHash is a function of resemblance similarity ($\mathcal{R}$), while the collision probability of SimHash is a function of cosine similarity ($\mathcal{S}$). To provide a common basis for comparison, we evaluate retrieval results in terms of $\mathcal{S}$ for both MinHash and SimHash. This evaluation is valid as we can prove that MinHash is a valid LSH with respect to $\mathcal{S}$, by using a general inequality $\mathcal{S}^2\leq \mathcal{R}\leq \frac{\mathcal{S}}{2-\mathcal{S}}$. Our worst case analysis can show that MinHash significantly outperforms SimHash in high similarity region. Interestingly, our intensive experiments reveal that MinHash is also substantially better than SimHash even in datasets where most of the data points are not too similar to each other. This is partly because, in practical data, often $\mathcal{R}\geq \frac{\mathcal{S}}{z-\mathcal{S}}$ holds where $z$ is only slightly larger than 2 (e.g., $z\leq 2.1$). Our restricted worst case analysis by assuming $\frac{\mathcal{S}}{z-\mathcal{S}}\leq \mathcal{R}\leq \frac{\mathcal{S}}{2-\mathcal{S}}$ shows that MinHash indeed significantly outperforms SimHash even in low similarity region. We believe the results in this paper will provide valuable guidelines for search in practice, especially when the data are sparse.

研究动机与目标

• 解决长期存在的问题：在大规模二值数据（常见于网络与搜索应用）中，MinHash 与 SimHash 哪一种更适合用于近似最近邻搜索。
• 通过证明 MinHash 是余弦相似性的一种有效 LSH，为比较 MinHash（本为相似性设计）与 SimHash（本为余弦相似性设计）提供理论基础。
• 在二值化数据和原始实值数据上，使用相同的度量标准（余弦相似性）对 MinHash 和 SimHash 的检索性能进行实证评估与比较。
• 证明 MinHash 的优势在 SimHash 有利条件下（如使用原始实值数据）依然成立。

提出的方法

• 推导并证明不等式 $\mathcal{S}^2 \leq \mathcal{R} \leq \frac{\mathcal{S}}{2 - \mathcal{S}}$，该不等式以余弦相似性 $\mathcal{S}$ 表达了相似性度量 $\mathcal{R}$ 的上下界，从而实现 MinHash 与 SimHash 在相同度量下的直接比较。
• 在假设 $z \leq z^*$ 的前提下，利用边界 $\mathcal{R} \geq \frac{\mathcal{S}}{z^* - \mathcal{S}}$ 分析在大小比例方差有限的实际数据中的性能表现，其中 $z = \sqrt{f_2/f_1} + \sqrt{f_1/f_2}$。
• 通过调整每张表的哈希函数数量 $K$ 和表的数量 $L$，实现并比较 MinHash 在二值化数据上的表现与 SimHash 在原始或二值化数据上的表现，以确定最优参数设置。
• 在二值化数据和原始实值数据上，使用余弦相似性评估检索性能，测量 top-$k$ 结果的召回率与数据扫描比例。
• 在六个二值化数据集（如 MNIST、RCV1 等）和两个原始实值数据集上进行广泛实验，以在多种数据环境下验证理论发现。

实验结果

研究问题

• RQ1 能否严格证明 MinHash 虽为相似性度量而设计，却可作为余弦相似性的有效局部敏感哈希（LSH）方案？
• RQ2 当两者均以余弦相似性作为度量标准时，MinHash 与 SimHash 在检索性能上如何比较？
• RQ3 在低相似性区域中，MinHash 是否仍优于 SimHash，即使理论优势不那么明显？
• RQ4 当在原始实值数据上评估时，MinHash 是否仍保持对 SimHash 的优势，即使其因应用于二值化数据而处于劣势？

主要发现

• 在高相似性区域，MinHash 显著优于 SimHash，理论边界表明该优势在 $\mathcal{S} \approx 1$ 时最为显著。
• 在 MNIST 数据集上，MinHash 仅需扫描 0.6% 的数据即可实现 top-1 检索的 90% 召回率，而 SimHash 在最优参数调优下仍需扫描 5% 的数据。
• 即使在低相似性区域，MinHash 仍优于 SimHash，原因在于实际数据中满足 $\mathcal{R} \geq \frac{\mathcal{S}}{z - \mathcal{S}}$ 且 $z \leq 2.1$ 的性质，该性质进一步增强了 MinHash 的性能。
• 在原始实值数据上评估时，尽管 MinHash 应用于二值化数据，其性能仍优于 SimHash，表明其具有鲁棒性与普遍优越性。
• 理论边界 $\mathcal{S}^2 \leq \mathcal{R} \leq \frac{\mathcal{S}}{2 - \mathcal{S}}$ 是紧致的，无法在无额外假设下进一步改进，验证了其用于比较的可靠性。