[論文レビュー] SuperMinHash - A New Minwise Hashing Algorithm for Jaccard Similarity Estimation

Otmar Ertl|arXiv (Cornell University)|Jun 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 9被引用数 12

ひとこと要約

この論文では、推定誤差の分散を低減し、実行時間効率を向上させることでMinHashを改善した、新しい最小ハッシュ化アルゴリズムであるSuperMinHashを紹介する。階層的ハッシュ構造とパrameterized均一性を活用することで、SuperMinHashはジャカード類似度推定における分散を低く抑えつつ、線形パススルーパフォーマンスを維持し、大規模な集合類似度タスクにおける精度とスケーラビリティにおいて、MinHashおよび従来の代替手法を上回る性能を発揮する。

ABSTRACT

This paper presents a new algorithm for calculating hash signatures of sets which can be directly used for Jaccard similarity estimation. The new approach is an improvement over the MinHash algorithm, because it has a better runtime behavior and the resulting signatures allow a more precise estimation of the Jaccard index.

研究の動機と目的

• ジャカード類似度推定における推定誤差の分散と計算効率の点で、MinHashおよび既存の最小ハッシュ化手法の限界を克服すること。
• 特に小規模および中規模の集合に対して、低分散かつ高精度を維持するストリーミング対応アルゴリズムを構築すること。
• MinHashおよびワンパーミュテーションハッシュの分散を下回るジャカードインデックス推定器の分散を低減しつつ、シングルパス処理の能力を保持すること。
• 結合操作における効率的な署名計算とマージを可能にし、密度化ハッシュスキームの限界を克服すること。

提案手法

• SuperMinHashは、各ハッシュ値がパラメータ化された均一性を持つ範囲の均一分布から導出される階層的ハッシュ構造を採用する。
• アルゴリズムは、均一分布に従うランダム値の集合から最小ハッシュ値を選択することで署名値を計算し、ジャカード推定器の分散を低減するように分布を調整する。
• 異なるハッシュ位置間の共分散を最小化するように、ハッシュ関数の再帰的構築を採用し、集合間で一致する署名値の確率がジャカード係数に一致するように保証する。
• 区間上の修正された均一分布を用いて、集合間の衝突確率を制御し、その結果、署名サイズ m と均一性パラメータ u の関数である α(m,u) に依存する分散式が得られる。
• アルゴリズムはシングルパスストリーミングアルゴリズムとして設計されており、大規模またはメモリ内データセットの効率的処理を可能にする。
• すべての署名位置が決定論的に計算されることで、密度化の問題を回避し、推定バイアスを保持するとともに、署名間の結合操作を可能にする。

実験結果

リサーチクエスチョン

• RQ1 同じ署名サイズ m に対して、MinHashより低い分散を達成するが、線形時間計算量を維持する最小ハッシュ化アルゴリズムを設計可能か？
• RQ2 異なるデータセットサイズにおいて、SuperMinHashのジャカード推定器の分散は、MinHashおよびワンパーミュテーションハッシュと比較してどのように異なるか？
• RQ3 密度化された署名による精度損失を回避しつつ、低コストな計算を維持するシングルパスストリーミングアルゴリズムを構築可能か？
• RQ4 与えられた署名サイズ m に対して、推定器の分散を最小化するための均一性パラメータ u の最適パラメータ化は何か？

主な発見

• 同じ署名サイズ m に対して、SuperMinHashにおけるジャカードインデックス推定器の分散は、MinHashより厳密に低い。これは、1未満である分散要因 α(m,u) に起因する。
• SuperMinHashにおける推定器の分散は、Var(Ĵ) = J(1−J)/m × α(m,u) で与えられ、α(m,u) < 1 であるため、MinHashの分散 J(1−J)/m よりも厳密に改善されていることが証明される。
• |D| ≪ m という小規模データセットでは、SuperMinHashは密度化されたワンパーミュテーションハッシュよりも高い精度を維持する。後者は二次時間計算量と精度の低下を抱える。
• アルゴリズムは O(n + m log²m) の実行時間計算量を達成しており、大きな m に対して MinHash の O(mn) よりも顕著に優れている。一方、小規模データセットに対しても競争力を持つ。
• 密度化ハッシュスキームとは異なり、SuperMinHashの署名は直接結合可能であり、結合集合の署名を計算する際に推定器の性質を保持する。
• この手法は証明的にバイアスなしであり、P(hj(A) = hj(B)) = J という重要な性質を維持するため、推定器は有効かつ一貫性を保つ。