[论文解读] A Review for Weighted MinHash Algorithms

Wei Wu, Bin Li+3 more|arXiv (Cornell University)|Nov 12, 2018

Text and Document Classification Technologies被引用 5

一句话总结

本文对大规模数据工作负载中用于估计广义Jaccard相似度的加权MinHash算法进行了全面综述与对比分析。它将现有方法分为基于量化、基于'活跃索引'和其他专门方法三类，引入了一个Python工具箱用于实现，并在准确性、运行时间和方差敏感性方面评估了性能，发现ICWS和I²CWS在准确性与效率之间达到了最佳平衡。

ABSTRACT

Data similarity (or distance) computation is a fundamental research topic which underpins many high-level applications based on similarity measures in machine learning and data mining. However, in large-scale real-world scenarios, the exact similarity computation has become daunting due to "3V" nature (volume, velocity and variety) of big data. In such cases, the hashing techniques have been verified to efficiently conduct similarity estimation in terms of both theory and practice. Currently, MinHash is a popular technique for efficiently estimating the Jaccard similarity of binary sets and furthermore, weighted MinHash is generalized to estimate the generalized Jaccard similarity of weighted sets. This review focuses on categorizing and discussing the existing works of weighted MinHash algorithms. In this review, we mainly categorize the Weighted MinHash algorithms into quantization-based approaches, "active index"-based ones and others, and show the evolution and inherent connection of the weighted MinHash algorithms, from the integer weighted MinHash algorithms to real-valued weighted MinHash ones (particularly the Consistent Weighted Sampling scheme). Also, we have developed a python toolbox for the algorithms, and released it in our github. Based on the toolbox, we experimentally conduct a comprehensive comparative study of the standard MinHash algorithm and the weighted MinHash ones.

研究动机与目标

• 系统性地对现有加权MinHash算法进行分类与分析，以估计广义Jaccard相似度。
• 评估12种加权MinHash方法在准确性、运行时间和方差敏感性之间的权衡。
• 开发并发布一个全面的Python工具箱，实现MinHash及全部12种加权MinHash算法，以支持可复现研究与基准测试。
• 研究现有方法在流数据与概念漂移环境中的局限性，并识别开放性挑战。

提出的方法

• 将加权MinHash算法分为三类：基于量化（将权重转换为二进制子元素）、基于'活跃索引'（仅采样关键子元素）以及其他专门方法。
• 以一致加权采样（CWS）框架作为理论基础，特别强调ICWS、I²CWS、PCWS和CCWS等变体。
• 以广义Jaccard相似度公式为目标度量，设计哈希函数以保持权重成比例的概率。
• 在基于CWS的方案中使用Beta和Gamma分布，直接从连续权重分布中采样，相比均匀采样提升了效率。
• 实现了一个自定义Python工具箱，对全部13种算法（标准MinHash + 12种加权变体）进行了代码优化，支持可复现的基准测试。
• 在合成数据集和真实世界数据集上开展大规模实验，比较准确性（通过RMSE衡量）、运行时间以及对权重方差的敏感性。

实验结果

研究问题

• RQ1 不同加权MinHash算法在准确性、运行时间和对权重方差的敏感性方面如何比较？
• RQ2 加权MinHash方法中，理论正确性、计算效率与实际适用性之间的内在权衡是什么？
• RQ3 哪种算法在不同数据分布下最能平衡准确性与效率？
• RQ4 现有方法在特征空间扩展和概念漂移的流式环境中如何扩展？
• RQ5 CWS框架能否进一步优化以提升内存效率并适应概念漂移？

主要发现

• ICWS及其变体（I²CWS和PCWS）在大多数基准场景中实现了准确性与运行时间的最佳平衡，表现优于其他方法。
• CCWS由于直接从Beta和Gamma分布中采样，运行效率高于ICWS及相关方法，但在高权重方差下性能下降。
• [Shrivastava, 2016]方法在除Syn3A0.2B外的场景中表现出强准确性与高速度，但在该数据集上因小权重导致有效采样率降低而表现不佳。
• 需要预扫描完整特征空间的方法（如[Gollapudi et al., 2006]）在流数据中不可行，限制了实时部署。
• Chum et al. (2008)是最快的，但存在偏差且缺乏理论误差界，因此不适合用于准确的相似度估计。
• 本研究识别出对支持概念漂移和动态特征扩展的CWS方法存在关键需求，尤其在流数据工作负载中。