[论文解读] Even Better Framework for min-wise Based Algorithms

Guy Feigenblat, Ely Porat+1 more|arXiv (Cornell University)|Feb 17, 2011

Advanced Image and Video Retrieval Techniques参考文献 23被引用 3

一句话总结

本文提出了一种新型的 d-k-min-wise 独立哈希函数族，仅使用 O(d) 独立度即可在基于 min-wise 的算法中实现时间和空间的指数级提升，与之前工作相比显著降低了所需的独立度。关键贡献在于一种高效的构造方法，大多数实际情况下仅需 8 重独立度，突破了先前的 O(log(1/ε)) 下界，实现了误差有界的近似中最优的、常数阶独立度。

ABSTRACT

In a recent paper from SODA11 \cite{kminwise} the authors introduced a general framework for exponential time improvement of \minwise based algorithms by defining and constructing almost \kmin independent family of hash functions. Here we take it a step forward and reduce the space and the independent needed for representing the functions, by defining and constructing a \dkmin independent family of hash functions. Surprisingly, for most cases only 8-wise independent is needed for exponential time and space improvement. Moreover, we bypass the $O(\log{\frac{1}ε})$ independent lower bound for approximately \minwise functions \cite{patrascu10kwise-lb}, as we use alternative definition. In addition, as the independent's degree is a small constant it can be implemented efficiently. Informally, under this definition, all subsets of size $d$ of any fixed set $X$ have an equal probability to have hash values among the minimal $k$ values in $X$, where the probability is over the random choice of hash function from the family. This property measures the randomness of the family, as choosing a truly random function, obviously, satisfies the definition for $d=k=|X|$. We define and give an efficient time and space construction of approximately \dkmin independent family of hash functions. The degree of independent required is optimal, i.e. only $O(d)$ for $2 \le d < k=O(\frac{d}{ε^2})$, where $ε\in (0,1)$ is the desired error bound. This construction can be used to improve many \minwise based algorithms, such as \cite{sizeEstimationFramework,Datar02estimatingrarity,NearDuplicate,SimilaritySearch,DBLP:conf/podc/CohenK07}, as will be discussed here. To our knowledge such definitions, for hash functions, were never studied and no construction was given before.

研究动机与目标

• 解决现有基于 min-wise 独立哈希函数在相似性估计和重复检测等算法中所需高空间和高独立度的问题。
• 将近似 min-wise 哈希所需的独立度从 O(log(1/ε)) 降低至 O(d)，其中 d 为子集大小。
• 定义并构造一个 d-k-min-wise 独立族，确保任意集合 X 的所有 d 元子集以相等概率成为 h(X) 中 k 个最小哈希值。
• 为数据挖掘和 Sketching 等实际应用，提供一种空间与时间最优的近似 d-k-min-wise 独立哈希函数的高效构造。

提出的方法

• 提出 d-k-min-wise 独立的新定义：对任意集合 X 及其大小为 d 的子集 Y ⊆ X，h(y) 属于 h(X) 中 k 个最小值的概率精确为 1 / (|X| choose d)，误差在 (1±ε) 范围内。
• 使用满足 l ≥ 3d+2 的 l 重独立哈希函数构造近似 d-k-min-wise 独立族，其中 l 为小常数。
• 通过分析秩分布和块概率，证明 l 重独立度足以实现 (ε / c)-d-k-min-wise 独立，其中 c 为通用常数。
• 利用望远镜求和技巧及秩块尾部概率的界，控制均匀性偏差中的误差项。
• 利用仅需 O(d) 独立度即可实现 d-k-min-wise 独立这一事实，该独立度为最优，显著优于先前的 O(log(1/ε)) 边界。
• 将该构造应用于改进现有基于 min-wise 的算法，如相似性估计、Sketching 和重复检测，实现时间效率的指数级提升。

实验结果

研究问题

• RQ1 能否在保持 (1±ε) 精度的前提下，将近似 min-wise 哈希所需的独立度降低至 O(log(1/ε)) 以下？
• RQ2 是否可以定义并构造一个 d-k-min-wise 独立哈希函数族，确保所有 d 元子集以相等概率成为 k 个最小哈希值？
• RQ3 实现 (ε / c)-d-k-min-wise 独立所需的最小独立度是多少？能否使其对实际 d 值达到最优且为常数？
• RQ4 如何在保持 min-wise 哈希应用中强概率保证的前提下，使构造在空间与时间上均高效？
• RQ5 该框架能否应用于改进现有基于 min-wise 的算法（如相似性估计和 Sketching），实现指数级性能提升？

主要发现

• 本文仅使用 O(d) 独立度即构造出近似 d-k-min-wise 独立哈希函数族，该独立度为最优，相比先前认为必需的 O(log(1/ε)) 边界有显著改进。
• 在大多数实际情况下，仅需 8 重独立度即可在基于 min-wise 的算法中实现时间和空间的指数级提升。
• 通过引入一种不依赖于相同约束的新 d-k-min-wise 独立定义，该构造突破了先前工作中的 O(log(1/ε)) 独立度下界。
• 使用满足 l ≥ 3d+2 的 l 重独立哈希函数，实现了 (ε / c)-d-k-min-wise 独立，其中 c 为通用常数。
• 理论分析证明，误差偏差被限制在 ε · (k choose d) / (n choose d) 范围内，确保了子集采样和相似性估计的高精度。
• 该框架使一系列基于 min-wise 的算法（包括相似性估计、Sketching 和重复检测）在时间和空间复杂度上实现指数级改进。