[论文解读] Improved Densification of One Permutation Hashing

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|Jun 18, 2014

Algorithms and Data Compression参考文献 20被引用 15

一句话总结

本文提出了一种可证明改进的单排列哈希稀疏化方案，可降低哈希估计器的方差，尤其在极稀疏数据集上表现更优，同时保持与先前工作相同的 O(d + k) 查询处理成本。该方法通过重新定义空桶分配给非空桶的方式，增强了哈希生成的随机性，从而提升了相似度估计和近邻搜索结果的准确性。

ABSTRACT

The existing work on densification of one permutation hashing reduces the query processing cost of the $(K,L)$-parameterized Locality Sensitive Hashing (LSH) algorithm with minwise hashing, from $O(dKL)$ to merely $O(d + KL)$, where $d$ is the number of nonzeros of the data vector, $K$ is the number of hashes in each hash table, and $L$ is the number of hash tables. While that is a substantial improvement, our analysis reveals that the existing densification scheme is sub-optimal. In particular, there is no enough randomness in that procedure, which affects its accuracy on very sparse datasets. In this paper, we provide a new densification procedure which is provably better than the existing scheme. This improvement is more significant for very sparse datasets which are common over the web. The improved technique has the same cost of $O(d + KL)$ for query processing, thereby making it strictly preferable over the existing procedure. Experimental evaluations on public datasets, in the task of hashing based near neighbor search, support our theoretical findings.

研究动机与目标

• 为解决现有单排列哈希稀疏化方案在极稀疏数据集上存在的随机性不足和方差过高问题。
• 设计一种新的稀疏化过程，保持 O(d + k) 查询处理成本的同时提升统计准确性。
• 通过分析并降低估计器方差，为先前方法 [24] 提供理论基础更坚实的改进。
• 在公开数据集上通过实验验证理论改进在相似度估计和近邻检索任务中的有效性。

提出的方法

• 提出一种新的单排列哈希中将空桶分配给最近非空桶的方案，采用概率分配模型以增强随机性。
• 通过建模循环排列中最近非空桶的分布，重新定义哈希值之间的期望碰撞概率。
• 利用组合分析方法，计算在新分配规则下非空与空桶指示变量的期望成对乘积。
• 通过计算改进方案下哈希指示变量乘积的期望，推导出相似度估计器的新方差表达式。
• 分析两个空桶被分配到同一非空桶的概率 p，表明在新方法下该概率为 1.5/(m+1)，而 [24] 中为 2/(m+1)，从而实现更低方差。
• 通过确保整个稀疏化过程在 O(d + k) 时间内完成，保持计算效率，与原始方案的复杂度一致。

实验结果

研究问题

• RQ1 现有 [24] 中的稀疏化方案是否足以在极稀疏数据集中提供准确的相似度估计所需的足够随机性？
• RQ2 能否设计一种新的稀疏化过程，以降低哈希估计器的方差，同时保持 O(d + k) 查询成本？
• RQ3 不同空桶分配规则对相似度估计器方差的理论影响是什么？
• RQ4 在真实世界稀疏数据集上，改进方案与 [24] 在近邻搜索和相似度估计任务中的准确性相比如何？
• RQ5 正如理论分析所建议的，新方案的方差降低在超稀疏数据中是否更为显著？

主要发现

• 所提出的稀疏化方案在方差上可被严格证明低于 [24] 中的现有方法，尤其在极稀疏数据集中表现更优。
• 方差的改善源于更精细的分配规则：两个空桶被映射到同一非空桶的概率 p 从 2/(m+1) 降低至 1.5/(m+1)。
• 新方法保持与原始方案相同的 O(d + k) 查询处理成本，因此在效率和准确性方面均更具优势。
• 在公开数据集上的实验结果证实，改进方案在相似度估计和近邻检索任务中均优于 [24]。
• 方差降低在超稀疏数据中最为显著，而这类数据在网页规模应用（如文本处理和重复检测）中极为常见。
• 理论分析证实，新方案通过确保更均匀且独立的哈希碰撞，更好地保持了 LSH 性质。