[論文レビュー] Improving Similarity Search with High-dimensional Locality-sensitive Hashing

Jaiyam Sharma, Saket Navlakha|arXiv (Cornell University)|Dec 5, 2018

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 7

ひとこと要約

本稿では、ハエの臭覚系を模倣した、データに依存しない局所性に敏感なハッシュ化（LSH）手法であるDenseFlyとFlyHashを提案する。これらの手法は、高次元バイナリハッシュを用いて類似度検索を改善する。入力をスパースバイナリプロジェクションとウィナーテイクアラウンドスパーシフィケーションを介して高次元空間に投影することで、6つのベンチマークデータセットにおいて、既存のLSH技術を上回る優れた近隣検索性能とランク類似度の保存を達成し、計算効率を維持する。

ABSTRACT

We propose a new class of data-independent locality-sensitive hashing (LSH) algorithms based on the fruit fly olfactory circuit. The fundamental difference of this approach is that, instead of assigning hashes as dense points in a low dimensional space, hashes are assigned in a high dimensional space, which enhances their separability. We show theoretically and empirically that this new family of hash functions is locality-sensitive and preserves rank similarity for inputs in any `p space. We then analyze different variations on this strategy and show empirically that they outperform existing LSH methods for nearest-neighbors search on six benchmark datasets. Finally, we propose a multi-probe version of our algorithm that achieves higher performance for the same query time, or conversely, that maintains performance of prior approaches while taking significantly less indexing time and memory. Overall, our approach leverages the advantages of separability provided by high-dimensional spaces, while still remaining computationally efficient

研究の動機と目的

• 高次元データにおける類似度検索の向上を目的とした、ハエの臭覚回路を模倣したデータに依存しない局所性に敏感なハッシュ化アルゴリズムの新クラスを開発すること。
• 高次元バイナリハッシュが、任意のℓpノルム下で分離性を向上させるとともに、入力空間における類似度関係を保存することの理論的根拠を示し、近隣検索の正確性を向上させること。
• 高次元ハッシュのための効率的なバインディングを可能にする、マルチプローブ変種の設計により、高次元LSHにおける主要な未解決問題を解決すること。
• 最小限の計算オーバーヘッドで優れた性能を達成することを目的とし、実装時には1つのハッシュテーブルのみを用いること。
• 6つのベンチマークデータセット上で本手法を検証し、SimHash、WTAHash、FlyHashなどの既存LSH手法と比較して一貫した性能向上を示すこと。

提案手法

• ハエの臭覚系を模倣した3層構造を採用：入力臭覚は50次元に符号化され、平均値の中心化を経て50次元に投影され、その後スパースバイナリランダムプロジェクションにより2000次元にマッピングされる。
• 各高次元ハッシュは、スパースバイナリランダムプロジェクション行列を用いて生成され、その後、最も活性化度の高いユニット上位5%のみを保持するグローバルウィナーテイクアラウンド機構が適用される。
• 得られるハッシュは、高次元空間（例：2000次元）におけるスパースバイナリベクトルであり、入力空間における分離性を向上させるとともに、類似度関係を保存する。
• 本稿では、任意のℓpノルム下でランク類似度を保存するFlyHashという変種を導入し、理論的裏付けと実証的検証を併記している。
• ハッシュ空間の複数のバケットを効率的に探索するためのマルチプローブ拡張を提案し、バインディングに低次元の中間表現を用いることで、高次元ハッシュの検索性能を向上させる。
• 本手法は線形時間および空間計算量を維持しており、最小限のインデキシングコストで実用的かつ容易に展開可能である。

実験結果

リサーチクエスチョン

• RQ1 ハエの臭覚回路を模倣した高次元バイナリハッシュは、既存のデータに依存しないLSH手法を上回る近隣検索性能を示せるか？
• RQ2 理論的に主張されているように、提案された高次元ハッシュ戦略は、任意のℓpノルム下でランク類似度を保存するか？
• RQ3 高次元ハッシュのための効率的なマルチプローブ戦略を設計可能か？ これにより、空間的・時間的計算量の増加なしに検索性能を向上させられるか？
• RQ4 DenseFlyの性能は、多様なデータセットおよびハッシュ長さにおいて、SimHash、WTAHash、FlyHashと比較してどのように差がつくか？
• RQ5 WTA要因とハッシュ長さを変化させた場合、ランク相関および検索正確性にどのような影響が生じるか？

主な発見

• DenseFlyは、6つのベンチマークデータセットにおいて、SimHash、WTAHash、FlyHashを上回る再現率と正確率を達成し、16ビットハッシュ長でのMNISTデータセットで42.5%のKendall-τランク相関を達成した。
• FlyHashはすべてのℓpノルム下でランク類似度を保存し、既存手法を上回るランク相関を達成した。16ビット長でのGLoVEデータセットで28.1%のKendall-τを記録した。
• FlyHash-MP（FlyHashのマルチプローブ版）は、標準的なFlyHashと同等の時間的・空間的計算量を維持しながら、より高い性能を達成した。
• DenseFlyは、MNISTデータセットで32ビット長でのKendall-τランク相関が0.480に達し、WTAHash（0.375）およびFlyHash（0.375）を著しく上回った。
• 本手法は1つのハッシュテーブルのみを用いることで、マルチテーブルLSH方式と比較して展開を簡素化し、メモリオーバーヘッドを低減した。
• 実証的結果により、高次元ハッシュが分離性を向上させ、計算コストの増加なしに検索正確性を改善することが確認された。