[论文解读] Accurate Estimators for Improving Minwise Hashing and b-Bit Minwise Hashing

Ping Li, Arnd Christian König|arXiv (Cornell University)|Aug 3, 2011

Spam and Phishing Detection参考文献 17被引用 5

一句话总结

本文通过利用一个考虑集合大小不等和包含关系的三单元多项式模型，提出了改进的 minwise 哈希与 b-bit minwise 哈希估计器。通过整合最小哈希碰撞、不匹配和相等值的概率，新估计器显著降低了偏差与方差，尤其在低相似度、高包含度的集合对中表现更优，在各类相似度场景下均展现出更高的准确度与鲁棒性。

ABSTRACT

Minwise hashing is the standard technique in the context of search and databases for efficiently estimating set (e.g., high-dimensional 0/1 vector) similarities. Recently, b-bit minwise hashing was proposed which significantly improves upon the original minwise hashing in practice by storing only the lowest b bits of each hashed value, as opposed to using 64 bits. b-bit hashing is particularly effective in applications which mainly concern sets of high similarities (e.g., the resemblance >0.5). However, there are other important applications in which not just pairs of high similarities matter. For example, many learning algorithms require all pairwise similarities and it is expected that only a small fraction of the pairs are similar. Furthermore, many applications care more about containment (e.g., how much one object is contained by another object) than the resemblance. In this paper, we show that the estimators for minwise hashing and b-bit minwise hashing used in the current practice can be systematically improved and the improvements are most significant for set pairs of low resemblance and high containment.

研究动机与目标

• 解决标准 minwise 哈希估计器在集合大小不等且包含度高的场景下表现欠佳的问题。
• 改进 b-bit minwise 哈希的估计准确度，特别是在相似度低但包含度高的情况下。
• 构建一个系统化的框架，对最小哈希结果的完整多项式分布进行建模，而非仅依赖碰撞概率。
• 通过整合相等、左最小和右最小三种结果类型，降低相似度与包含度估计中的偏差与方差。
• 提供一种统一且可解析处理的估计器，在各类相似度场景下均优于现有方法。

提出的方法

• 将最小哈希结果分布建模为具有三种概率的三单元多项式：P_=（碰撞）、P_<（S1 最小值 < S2 最小值）和 P_>（S1 最小值 > S2 最小值）。
• 利用几何级数与涉及 (1 - r)^{2^b} 项的归一化因子，推导出 b-bit 最小哈希值联合概率的精确闭式表达式。
• 基于观测到的 b-bit 最小哈希值构建似然函数，并通过最大化似然函数来估计相似度与包含度。
• 提出一种偏差校正估计器，整合全部三种结果类型，优于仅使用 P_= 的标准估计器。
• 利用三单元模型推导出一种新估计器，当 f1 ≠ f2 时达到最优，尤其在 f2/f1 较小时效果显著。
• 将该方法应用于标准 minwise 哈希与 b-bit minwise 哈希，均显示出估计准确度的一致性提升。

实验结果

研究问题

• RQ1 当集合大小不等时，如何系统性地改进标准 minwise 哈希估计器？
• RQ2 当相似度低但包含度高时，估计相似度与包含度的最优方法是什么？
• RQ3 最小哈希结果的三单元多项式模型是否能产生比标准二项式模型更准确的估计器？
• RQ4 新估计器在不同相似度与包含度场景下的性能与现有方法相比如何？
• RQ5 使用改进估计器的 b-bit minwise 哈希在估计偏差与方差上的理论与实证影响是什么？

主要发现

• 仅基于碰撞的标准 minwise 哈希估计器仅在 f1 = f2 时最优；当集合大小不等时，其偏差逐渐增大。
• 所提出的估计器显著降低了低相似度、高包含度对的偏差，而标准估计器在此类情况下表现较差。
• 在 b-bit minwise 哈希中，新估计器在 f2/f1 < 0.1 时表现出更低的方差与更高的准确度，这在真实数据集中十分常见。
• 改进效果在低相似度（R < 0.5）与高包含度（T ≈ 1）的场景中最为显著，标准方法在此类情况下失效。
• 在 webspam 数据集上的实证结果表明，f1/f2 的平均比值为 5.5，标准差为 9.5，证实了集合大小不等的普遍性。
• 理论分析证实，在三单元多项式模型下，新估计器为最优，且所有结果概率均具有闭式表达式。