[論文レビュー] One Permutation Hashing for Efficient Search and Learning

Ping Li, Art B. Owen+1 more|arXiv (Cornell University)|Aug 6, 2012

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 8

ひとこと要約

本稿では、k-順列最小ハッシュ法の代わりに1つのランダム順列を用いる新規手法であるワンパーソーメーションハッシュ（OPH）を提案する。この手法では、並べ替えられたデータをk個のバインに分割し、各バインに含まれる最小の非ゼロインデックスのみを格納する。このアプローチにより、前処理コストを1/kに削減しながら、webspam や news20 といったデータセットにおいて、k-順列ハッシュと同等またはそれ以上の精度を達成する。理論的・実験的検証が行われている。

ABSTRACT

Recently, the method of b-bit minwise hashing has been applied to large-scale linear learning and sublinear time near-neighbor search. The major drawback of minwise hashing is the expensive preprocessing cost, as the method requires applying (e.g.,) k=200 to 500 permutations on the data. The testing time can also be expensive if a new data point (e.g., a new document or image) has not been processed, which might be a significant issue in user-facing applications. We develop a very simple solution based on one permutation hashing. Conceptually, given a massive binary data matrix, we permute the columns only once and divide the permuted columns evenly into k bins; and we simply store, for each data vector, the smallest nonzero location in each bin. The interesting probability analysis (which is validated by experiments) reveals that our one permutation scheme should perform very similarly to the original (k-permutation) minwise hashing. In fact, the one permutation scheme can be even slightly more accurate, due to the "sample-without-replacement" effect. Our experiments with training linear SVM and logistic regression on the webspam dataset demonstrate that this one permutation hashing scheme can achieve the same (or even slightly better) accuracies compared to the original k-permutation scheme. To test the robustness of our method, we also experiment with the small news20 dataset which is very sparse and has merely on average 500 nonzeros in each data vector. Interestingly, our one permutation scheme noticeably outperforms the k-permutation scheme when k is not too small on the news20 dataset. In summary, our method can achieve at least the same accuracy as the original k-permutation scheme, at merely 1/k of the original preprocessing cost.

研究の動機と目的

• 大規模な検索および学習アプリケーションにおけるk-順列最小ハッシュ法の高い計算コストを軽減すること。
• 特にkが大きい場合（例：200–500の順列）に必要となる高コストな前処理ステップを低減すること。
• セット類似度および線形モデルの推定精度を維持しながら、より単純でエネルギー効率の良い代替手法を開発すること。
• スパースで高次元なデータを含む多様なデータセットにおいて、手法の頑健性を検証すること。
• 特定の条件下で「サンプル・アンド・リプレースメントなし」の効果により、1つの順列が複数の順列を上回る性能を示す可能性を示すこと。

提案手法

• バイナリデータ行列の列空間 Ω = {0, 1, ..., D−1} 全体に1つのランダム順列 π を適用する。
• 並べ替えられた列を均等にk個のバインに分割し、各データベクトルに対して、各バインに含まれる最小の非ゼロインデックス（すなわち最初の1）を格納する。
• 2つのベクトル間で一致する最小インデックスの数を、類似度 R の不偏推定量として用いる。
• 推定量 R̂ = N_mat / (k − N_emp) を導出する。ここで、N_mat は最小値が一致するバインの数、N_emp は両方のベクトルで共に空のバインの数である。
• 完全な順列や高次元の投影を格納するのではなく、コンパクトなバインベースの最小値表現に依存する。
• 理論的分析により、推定量の分散がk-順列最小ハッシュ法と同等であり、サンプル・アンド・リプレースメントなしの効果により改善の可能性があることが示された。

実験結果

リサーチクエスチョン

• RQ1 1つの順列が、セット類似度推定においてk-順列最小ハッシュ法と同等またはより良い精度を達成できるか？
• RQ2 ワン順列方式が、推定精度を損なわずに前処理コストをk分の1に削減できるか？
• RQ3 非ゼロ要素が1ベクトルあたり約500個に制限されるようなスパースデータセット（例：news20）において、この手法はどのように動作するか？
• RQ4 k-順列ハッシュのi.i.d.サンプリングと比較して、OPHにおける「サンプル・アンド・リプレースメントなし」の効果の影響は何か？
• RQ5 OPH手法は、線形SVM やロジスティック回帰といった大規模な学習タスクに効果的に適用可能か？

主な発見

• webspam データセットにおいて、b=8 かつ k=200–500 を用いた場合、ワンパーソーメーションハッシュはk-順列最小ハッシュ法と同等またはわずかに高い精度を達成した。
• スパースな news20 データセットでは、k が小さすぎない場合、OPHはk-順列ハッシュを顕著に上回った。これは、サンプル・アンド・リプレースメントなしの効果による分散の低減のおかげである。
• 前処理コストは元のk-順列法の1/kに削減され、複数の独立した順列を生成する必要がなくなった。
• 理論的分析により、推定量 R̂ = N_mat / (k − N_emp) が不偏であり、k-順列最小ハッシュ法と同等の分散を持つことが確認された。
• 固定長のOPH方式は、可変長バージョンよりも十分に性能を発揮し、場合によっては優れていることが示された。固定長方式では空のバインが少なく、結果として性能が向上した。
• 実験的結果により、OPHは多様なデータスパースレベルにおいて精度を維持しており、産業応用における現実のデータ特性に対しても頑健であることが検証された。