[論文レビュー] Practical Hash Functions for Similarity Estimation and Dimensionality Reduction

Søren Dahlgaard, Mathias Bæk Tejs Knudsen+1 more|arXiv (Cornell University)|Nov 23, 2017

Advanced Image and Video Retrieval Techniques参考文献 4被引用数 10

ひとこと要約

この論文は、類似度推定および特徴量ハッシュ化における一般的に使用されるハッシュ関数の実用的で、理論的にも良好な代替手段としての混合タブレーションハッシュの評価を行う。理論的な集中性の上限と実世界の実験の両方において、混合タブレーションハッシュが真にランダムなハッシュと同等の性能を示すことを示しており、乗算-モジュロ-素数およびMurmurHash3を凌駕している。MurmurHash3よりも40%高速でありながら、強力な理論的保証を提供する。

ABSTRACT

Hashing is a basic tool for dimensionality reduction employed in several aspects of machine learning. However, the perfomance analysis is often carried out under the abstract assumption that a truly random unit cost hash function is used, without concern for which concrete hash function is employed. The concrete hash function may work fine on sufficiently random input. The question is if it can be trusted in the real world when faced with more structured input. In this paper we focus on two prominent applications of hashing, namely similarity estimation with the one permutation hashing (OPH) scheme of Li et al. [NIPS'12] and feature hashing (FH) of Weinberger et al. [ICML'09], both of which have found numerous applications, i.e. in approximate near-neighbour search with LSH and large-scale classification with SVM. We consider mixed tabulation hashing of Dahlgaard et al.[FOCS'15] which was proved to perform like a truly random hash function in many applications, including OPH. Here we first show improved concentration bounds for FH with truly random hashing and then argue that mixed tabulation performs similar for sparse input. Our main contribution, however, is an experimental comparison of different hashing schemes when used inside FH, OPH, and LSH. We find that mixed tabulation hashing is almost as fast as the multiply-mod-prime scheme ax+b mod p. Mutiply-mod-prime is guaranteed to work well on sufficiently random data, but we demonstrate that in the above applications, it can lead to bias and poor concentration on both real-world and synthetic data. We also compare with the popular MurmurHash3, which has no proven guarantees. Mixed tabulation and MurmurHash3 both perform similar to truly random hashing in our experiments. However, mixed tabulation is 40% faster than MurmurHash3, and it has the proven guarantee of good performance on all possible input.

研究の動機と目的

• 類似度推定および特徴量ハッシュを含む実世界の機械学習ワークロードにおける混合タブレーションハッシュの実用的性能を評価すること。
• 乗算-モジュロ-素数およびMurmurHash3といった一般的に使用されるハッシュ関数が、広く採用されているにもかかわらず、実際のデータにおいてバイアスや悪い集中性を引き起こすかどうかを評価すること。
• 速度、正確性、理論的保証の観点から、混合タブレーションハッシュを他のハッシュ関数と比較すること。
• OPHおよびFHのような応用分野において、真にランダムなハッシュとほぼ同等の性能を発揮する混合タブレーションハッシュの実証的および理論的証拠を提供すること。
• 速度、信頼性、理論的保証の組み合わせが優れていることから、実用的選択肢として混合タブレーションを提唱すること。

提案手法

• 著者らは、1つの順列ハッシュ（OPH）および特徴量ハッシュ（FH）の2つの主要な応用分野において、混合タブレーションハッシュを実装・評価した。
• 合成データ、MNIST、News20データセットを用いた広範な実験を通じて、LSHを用いた類似度検索におけるノルムの集中性とリtrieval品質を測定した。
• 特徴量ハッシュの文脈では、100回の繰り返しにおいて変換されたベクトルの二乗L2ノルムを計算し、分散とバイアスを評価した。
• OPHを用いたLSHでは、KとLの異なる値における#retrieved / 再現率比を測定した。明確さを高めるために、K=L=10を焦点とした。
• 速度と正確性の観点から、混合タブレーションを乗算-モジュロ-素数、2-wise PolyHash、MurmurHash3、CityHashと比較した。
• 真にランダムなハッシュの下でのFHにおける集中性の上限を改善し、入力ベクトルがスパースな場合に混合タブレーションが同様の性能を発揮することを示した。

実験結果

リサーチクエスチョン

• RQ1 混合タブレーションハッシュは、OPHやFHのような実用的応用分野において、真にランダムなハッシュと同等に機能するのか？
• RQ2 乗算-モジュロ-素数やMurmurHash3といった一般的に使用されるハッシュ関数が、実世界のデータにおいて体系的なバイアスや悪い集中性を引き起こす可能性があるのか？
• RQ3 類似度推定および次元削減において、混合タブレーションはMurmurHash3およびCityHashと比べて速度と正確性の面でどのように差をつけるのか？
• RQ4 混合タブレーションの理論的保証が、多様なデータ分布にわたる実用的な頑健性にどの程度反映されるのか？
• RQ5 混合タブレーションは、機械学習パイプラインにおけるヒューリスティックなハッシュ関数の信頼性と効率性に優れた代替手段と見なせるのか？

主な発見

• 混合タブレーションハッシュは、ノルムの集中性とLSHの再現率の両面で、真にランダムなハッシュとほぼ同等の性能を発揮し、最小限のバイアスと優れた集中性を示した。
• 乗算-モジュロ-素数ハッシュは、構造的または実世界のデータにおいて顕著な類似度の過大評価と悪い集中性を引き起こし、速度は速いものの深刻な問題を抱えている。
• MurmurHash3は実際の応用では真にランダムなハッシュと同等の性能を発揮するが、理論的保証が欠如しているため、敵対的または構造的入力では信頼性が低い。
• 混合タブレーションはMurmurHash3よりも40%高速でありながら、その実証的性能を完全に再現しており、より優れた実用的選択肢である。
• MNISTデータセットにおいて、2-wise PolyHashはノルム16.671を生成したが、混合タブレーションはわずか2.077に留まり、弱いハッシュ関数における深刻なバイアスを示した。
• #retrieved / 再現率比の指標から、乗算-モジュロ-素数は過剰なリトリーブを引き起こすため、わずかに高い再現率を示しても一貫して性能が劣ることが明らかになった。