[論文レビュー] Even Better Framework for min-wise Based Algorithms

Guy Feigenblat, Ely Porat+1 more|arXiv (Cornell University)|Feb 17, 2011

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 3

ひとこと要約

この論文は、最小値に依存するアルゴリズムにおける指数的時間・空間の改善を達成する、新しい d-k-min-wise 独立関数族を導入する。この関数族は、従来の O(log(1/ε)) の独立度に比べて著しく低い O(d) の独立度で動作し、特に実用的な状況では 8 回独立で十分である。主な貢献は、O(log(1/ε)) の下界を回避し、誤差を有界とする近似において最適で定数次の独立度を実現する、効率的な構築法の確立である。

ABSTRACT

In a recent paper from SODA11 \cite{kminwise} the authors introduced a general framework for exponential time improvement of \minwise based algorithms by defining and constructing almost \kmin independent family of hash functions. Here we take it a step forward and reduce the space and the independent needed for representing the functions, by defining and constructing a \dkmin independent family of hash functions. Surprisingly, for most cases only 8-wise independent is needed for exponential time and space improvement. Moreover, we bypass the $O(\log{\frac{1}ε})$ independent lower bound for approximately \minwise functions \cite{patrascu10kwise-lb}, as we use alternative definition. In addition, as the independent's degree is a small constant it can be implemented efficiently. Informally, under this definition, all subsets of size $d$ of any fixed set $X$ have an equal probability to have hash values among the minimal $k$ values in $X$, where the probability is over the random choice of hash function from the family. This property measures the randomness of the family, as choosing a truly random function, obviously, satisfies the definition for $d=k=|X|$. We define and give an efficient time and space construction of approximately \dkmin independent family of hash functions. The degree of independent required is optimal, i.e. only $O(d)$ for $2 \le d < k=O(\frac{d}{ε^2})$, where $ε\in (0,1)$ is the desired error bound. This construction can be used to improve many \minwise based algorithms, such as \cite{sizeEstimationFramework,Datar02estimatingrarity,NearDuplicate,SimilaritySearch,DBLP:conf/podc/CohenK07}, as will be discussed here. To our knowledge such definitions, for hash functions, were never studied and no construction was given before.

研究の動機と目的

• 類似度推定や重複検出などのアルゴリズムにおいて、従来の最小値に依存するハッシュ関数が要求する高コストなメモリ使用量と独立度の問題を解決すること。
• 近似的に最小値に依存するハッシュ化に必要な独立度を、O(log(1/ε)) から O(d) に低減すること。ここで d は部分集合のサイズを表す。
• 任意の集合 X のすべての d 要素部分集合が、h(X) の k 個の最小値をとる確率が等しくなるように保証する d-k-min-wise 独立関数族の定義と構築を行うこと。
• 実用的なデータマイニングやスケッチングの応用に適した、空間的・時間的最適な近似的な d-k-min-wise 独立ハッシュ関数の構築法を提供すること。

提案手法

• d-k-min-wise 独立性の新しい定義を導入：任意の集合 X とその d 要素部分集合 Y ⊆ X に対して、h(y) が h(X) の k 個の最小値に属する確率が、(1±ε) の誤差を許容して、正確に 1 / (|X| choose d) に等しくなること。
• l ≥ 3d+2 を満たす l 回独立ハッシュ関数を用いて、近似的に d-k-min-wise 独立な関数族を構築すること。ここで l は小さな定数である。
• ランク分布とブロック確率の分析により、l 回独立性が (ε / c)-d-k-min-wise 独立性を満たすことを証明すること。ここで c は普遍定数である。
• 望ましくない一様性からの逸脱を制御するため、テレスコピック和の技法とランクブロックの尾確率のバウンドを用いる。
• d-k-min-wise 独立性に必要な独立度が O(d) で十分であり、これは最適で、従来の O(log(1/ε)) の境界に比べて顕著に改善されることを活用する。
• 類似度推定、スケッチング、重複検出などの既存の最小値に依存するアルゴリズムに、指数的効率向上をもたらすようにこの構築法を適用する。

実験結果

リサーチクエスチョン

• RQ1 O(log(1/ε)) より低い独立度で、(1±ε) の精度を保ちながら、近似的に最小値に依存するハッシュ化を実現できるか？
• RQ2 すべての d 要素部分集合が k 個の最小ハッシュ値をとる確率が一様になるような d-k-min-wise 独立関数族を定義し、構築可能か？
• RQ3 (ε / c)-d-k-min-wise 独立性を達成するために必要な最小独立度は何か？また、実用的な d に対して、これを最適かつ定数次にできるか？
• RQ4 空間的・時間的効率を確保しながら、最小値に依存するハッシュ化の応用において強力な確率的保証を維持できるように、この構築法を最適化できるか？
• RQ5 このフレームワークを、類似度推定やスケッチングなどの既存の最小値に依存するアルゴリズムに適用し、指数的高速化を達成できるか？

主な発見

• 本論文は、O(d) の独立度でのみ構築可能な近似的な d-k-min-wise 独立関数族を構築し、これは最適であり、従来の O(log(1/ε)) の境界に比べて顕著な改善をもたらす。
• 多くの実用的状況では、d-k-min-wise 独立性を達成するための独立度が 8 回で十分であり、最小値に依存するアルゴリズムにおける指数的時間・空間の改善が可能になる。
• 従来の O(log(1/ε)) の独立度下界を回避するため、同じ制約に依存しない d-k-min-wise 独立性の新しい定義を導入した。
• l ≥ 3d+2 の l 回独立ハッシュ関数を用いて、(ε / c)-d-k-min-wise 独立性を達成する。ここで c は普遍定数である。
• 理論的解析により、誤差の逸脱が ε · (k choose d) / (n choose d) で有界であることが証明され、部分集合サンプリングや類似度推定において高い正確性が保証される。
• このフレームワークにより、類似度推定、スケッチング、重複検出を含む、幅広い最小値に依存するアルゴリズムにおいて、時間的・空間的複雑性が指数的に改善される。