[论文解读] DartMinHash: Fast Sketching for Weighted Sets

Tobias Christiani|arXiv (Cornell University)|May 23, 2020

Video Analysis and Summarization参考文献 29被引用 5

一句话总结

DartMinHash 引入了一种新颖的算法，用于快速加权最小哈希，其在期望时间 O(k log k + ||x||₀ log(||x||₁ + 1/||x||₁)) 内计算出 k 个独立的最小哈希值，显著优于先前的方法如 BagMinhash 和 FastICWS。在常见工作负载中，其性能最高可提升 30 倍，尤其在稀疏数据且 k 和 ||x||₀ 较大时表现优异，同时对常权集合保持理论最优性。

ABSTRACT

Weighted minwise hashing is a standard dimensionality reduction technique with applications to similarity search and large-scale kernel machines. We introduce a simple algorithm that takes a weighted set $x \in \mathbb{R}_{\geq 0}^{d}$ and computes $k$ independent minhashes in expected time $O(k \log k + \Vert x \Vert_{0}\log( \Vert x \Vert_1 + 1/\Vert x \Vert_1))$, improving upon the state-of-the-art BagMinHash algorithm (KDD '18) and representing the fastest weighted minhash algorithm for sparse data. Our experiments show running times that scale better with $k$ and $\Vert x \Vert_0$ compared to ICWS (ICDM '10) and BagMinhash, obtaining $10$x speedups in common use cases. Our approach also gives rise to a technique for computing fully independent locality-sensitive hash values for $(L, K)$-parameterized approximate near neighbor search under weighted Jaccard similarity in optimal expected time $O(LK + \Vert x \Vert_0)$, improving on prior work even in the case of unweighted sets.

研究动机与目标

• 解决在相似性搜索和大规模核机器中，对加权集合计算独立最小哈希时的性能瓶颈问题。
• 开发一种高效恢复第一个命中加权集合的 t 个飞镖的 sketching 原 primitive，以实现更快的局部敏感哈希和最小哈希计算。
• 通过减少运行时间，改进现有算法如 BagMinhash 和 FastICWS，尤其在 k 较大且 ||x||₁ = 1 的稀疏数据中表现更优。
• 在加权 Jaccard 相似度下的 (L,K)-参数化近似最近邻搜索中，实现最优期望时间复杂度 O(LK + ||x||₀)。

提出的方法

• 该算法采用飞镖投掷模型，其中飞镖在 [0,M]^d 中均匀采样，第一个命中集合 x 的飞镖决定其最小哈希值。
• 它引入了一种新颖的数据结构和采样策略，以 O(t + ||x||₀ log(||x||₁ + 1/||x||₁)) 的期望时间高效检索命中 x 的前 t 个飞镖，且与稀疏性无关。
• 该方法利用优先队列和加权随机采样，避免了在 ||x||₁ 较低的稀疏数据中速度较慢的拒绝采样。
• 通过使用确定性且高效的采样机制模拟独立的随机序列，实现完全独立的最小哈希计算。
• 该算法针对常权集合设计，当 ||x||₁ = Θ(1) 时，其时间复杂度达到 O(t + ||x||₀) 的理论下界。
• 它实现了对加权 Jaccard 相似度下 (L,K)-参数化 LSH 的快速计算，具有最优的 O(LK + ||x||₀) 期望时间复杂度。

实验结果

研究问题

• RQ1 我们能否比现有方法（如 BagMinhash 和 FastICWS）更快地为加权集合计算 k 个独立的最小哈希？
• RQ2 是否可能实现加权最小哈希的最优期望时间复杂度 O(k log k + ||x||₀ log(||x||₁ + 1/||x||₁))？
• RQ3 当 ||x||₁ 取极端值（如极小或极大权重）时，该算法表现如何？
• RQ4 该算法能否用于加速加权 Jaccard 相似度下的 (L,K)-参数化近似最近邻搜索？
• RQ5 该算法在不同数据稀疏性和草图长度设置下是否保持高性能？

主要发现

• 当 k = ||x||₀ = 4096 且 ||x||₁ = 1 时，DartMinHash 相较于第二名算法（BagMinhash）最高可实现 30 倍的性能提升。
• 在 ||x||₁ = 1 的常见工作负载中，DartMinHash 平均比 FastICWS 快 10 倍，比 BagMinhash 快 15 倍。
• 即使在 ||x||₁ 极端（如 2^±64）时，对于 k = 256 且 ||x||₀ = 1024 的情况，DartMinHash 仍保持约 10 倍的性能优势，尽管在 ||x||₁ = 2^±512 时性能有所下降。
• 当 ||x||₁ ∈ [2^-32, 2^32] 时，DartMinHash 相较于 FastICWS 和 BagMinhash 仍保持显著性能优势，且在典型现实世界权重范围内表现稳定。
• 当 ||x||₁ 极其微小（如 2^-512）或极大（如 2^512）时，FastICWS 相较 DartMinHash 快 6–7 倍，表明其对极端权重值较为敏感。
• 该算法在加权 Jaccard 相似度下的 (L,K)-参数化 LSH 中实现了最优期望时间复杂度 O(LK + ||x||₀)，即使在无权重集合中也优于先前工作。