[論文レビュー] Fast Pseudo-Random Fingerprints

Yoram Bachrach, Ely Porat|arXiv (Cornell University)|Sep 29, 2010

Algorithms and Data Compression参考文献 18被引用数 8

ひとこと要約

この論文は、素数 p を法とする擬似乱数多項式の族を用いることで、最小ハッシュ値の特定を高速化する新規手法を提案する。この手法により、各ハッシュ関数に対して1ビットのみを格納し、フラップ位置（値が p を超えてリセットされる場所）の等差数列構造を活用することで、類似度フィンガープrintの計算を O(b·k) から O(b·log k) にまで高速化する。実用的に顕著な高速化が達成されるとともに、正確性と信頼性の保証を維持する。

ABSTRACT

We propose a method to exponentially speed up computation of various fingerprints, such as the ones used to compute similarity and rarity in massive data sets. Rather then maintaining the full stream of $b$ items of a universe $[u]$, such methods only maintain a concise fingerprint of the stream, and perform computations using the fingerprints. The computations are done approximately, and the required fingerprint size $k$ depends on the desired accuracy $ε$ and confidence $δ$. Our technique maintains a single bit per hash function, rather than a single integer, thus requiring a fingerprint of length $k = O(\frac{\ln \frac{1}δ}{ε^2})$ bits, rather than $O(\log u \cdot \frac{\ln \frac{1}δ}{ε^2})$ bits required by previous approaches. The main advantage of the fingerprints we propose is that rather than computing the fingerprint of a stream of $b$ items in time of $O(b \cdot k)$, we can compute it in time $O(b \log k)$. Thus this allows an exponential speedup for the fingerprint construction, or alternatively allows achieving a much higher accuracy while preserving computation time. Our methods rely on a specific family of pseudo-random hashes for which we can quickly locate hashes resulting in small values.

研究の動機と目的

• 多数のハッシュ関数を用いた場合の、巨大データストリームにおけるフィンガープrint生成の高コストを解消すること。
• O(b·k) から O(b·log k) へのフィンガープrint構築の時間計算量の低減を実現し、正確性を損なわないこと。
• 1ハッシュ関数あたり1ビットの最小フィンガープrintを用いながらも、類似度およびレアネス推定の統計的保証を維持すること。
• Jaccard類似度を超えて、他のハッシュベースのスケッチ手法へも一般化可能な技術を提供すること。
• データ要約および類似度照会に依存するストリーミングアルゴリズムにおける効率性の向上。

提案手法

• 素数 p を法とする擬似乱数多項式の族を用い、最小ハッシュ関数の min-wise 独立性を保証するとともに、近似保証を理論的に示す。
• 二つの乱数多項式 f と g を用いて、合成ハッシュ関数 h_i(x) = f(x) + i·g(x) を構築し、最小値の効率的計算を可能にする。
• フラップ位置（p を超えて値がリセットされる場所）が等差数列をなすという事実を活用し、最小ハッシュ値の探索を対数時間で行えるようにする。
• ステップサイズ b > p/2 の場合、再帰的にフラップ位置を逆順にスキャンすることで、各再帰レベルで処理対象が半分以下に抑えられることを保証する。
• しきい値 t より小さい要素の探索を最適化するため、まずフラップ位置でない場所をチェック（b < t の場合）、次に等差数列構造を活用して再帰的にフラップ位置を処理する。
• 各ハッシュ関数に対して1ビットのみ（最小値が達成されたか否か）を格納することで、フィンガープリントサイズを O(ln(1/δ)/ε²) ビットにまで削減。従来の O(log u · ln(1/δ)/ε²) からの削減を達成。

実験結果

リサーチクエスチョン

• RQ1 新規ハッシュ戦略を用いることで、巨大データストリームにおけるフィンガープリント構築時間の計算を O(b·k) から O(b·log k) に低減できるか？
• RQ2 1ハッシュ関数あたり1ビットのみを用いても、必要な信頼性と正確性を維持したまま、正確な類似度およびレアネス推定が可能か？
• RQ3 多項式ベースのハッシュ族におけるフラップ位置の構造を活用することで、最小ハッシュ値の探索を対数時間で行えるか？
• RQ4 本手法は、Jaccard類似度を超えて、L_p スケッチや重複要素数推定などの他のスケッチ技法へも一般化可能か？
• RQ5 最小ハッシュ独立族のような複雑なハッシュ族に対しても、時間的・空間的オーバーヘッドを最小限に抑えつつ適用可能か？

主な発見

• 提案手法により、フィンガープリント構築時間が O(b·k) から O(b·log k) にまで低減され、実用的に指数的高速化が達成された。
• フィンガープリントサイズが O(ln(1/δ)/ε²) ビットにまで削減され、正確性と信頼性の理論的下界と一致するが、整数の完全な格納を必要としない。
• 従来手法と同等の漸近的ハッシュ関数数を維持しており、統計的正確性に損なわれない。
• フラップ位置の等差数列構造を活用することで、各再帰ステップで処理対象が半分以下に抑えられ、O(log k) の時間計算量が保証された。
• 最小ハッシュ値に基づくあらゆるフィンガープリントスキーム（Jaccard類似度、重複要素数推定、L_p スケッチなど）に一般化可能である。
• b > p/2 の場合でも、スキャン順序を逆転させ、ステップサイズを p−b にすることで、対数時間の実行時間が保たれる。