[論文レビュー] Cosine Similarity Search with Multi Index Hashing.

Sepehr Eghbali, Ladan Tahvildari|arXiv (Cornell University)|Sep 14, 2016

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 4

ひとこと要約

この論文では、ハミング距離とコサイン類似度の数学的関係を活用することで、大規模なバイナリコーディングデータセットにおいて高速かつ正確なコサイン類似度検索を可能にするマルチインデックスハッシング手法を提案する。ハッシュテーブルのバケットを走査する順序を導出することで、全探索やLSHのような近似手法と比較して、オーダー・オブ・マグニチュードの高速化を達成し、K個の最も類似したアイテムの正確な検索を維持する。

ABSTRACT

Due to rapid development of the Internet, recent years have witnessed an explosion in the rate of data generation. Dealing with data at current scales brings up unprecedented challenges. From the algorithmic view point, executing existing linear algorithms in information retrieval and machine learning on such tremendous amounts of data incur intolerable computational and storage costs. To address this issue, there is a growing interest to map data points in large-scale datasets to binary codes. This can significantly reduce the storage complexity of large-scale datasets. However, one of the most compelling reasons for using binary codes or any discrete representation is that they can be used as direct indices into a hash table. Incorporating hash table offers fast query execution; one can look up the nearby buckets in a hash table populated with binary codes to retrieve similar items. Nonetheless, if binary codes are compared in terms of the cosine similarity rather than the Hamming distance, there is no fast exact sequential procedure to find the $K$ closest items to the query other than the exhaustive search. Given a large dataset of binary codes and a binary query, the problem that we address is to efficiently find $K$ closest codes in the dataset that yield the largest cosine similarities to the query. To handle this issue, we first elaborate on the relation between the Hamming distance and the cosine similarity. This allows finding the sequence of buckets to check in the hash table. Having this sequence, we propose a multi-index hashing approach that can increase the search speed up to orders of magnitude in comparison to the exhaustive search and even approximation methods such as LSH. We empirically evaluate the performance of the proposed algorithm on real world datasets.

研究の動機と目的

• バイナリコードで表現された大規模データセットにおいて、コサイン類似度を用いてクエリのK個の最も類似したアイテムを効率的に特定する課題に対処すること。
• 標準のハッシュテーブル参照では効率的に計算できないが、ハミング距離とは異なり、コサイン類似度を効率的に計算できないという制限を克服すること。
• バイナリコードを用いてコサイン類似度の下でK近傍の正確な検索を可能にする手法を開発すること。
• 大規模な情報検索および機械学習システムにおける計算コストとストレージ複雑度を低減すること。
• 正確性を維持しながら、全探索や既存の近似手法（例：LSH）と比較して顕著な高速化を達成すること。

提案手法

• ハミング距離とコサイン類似度の理論的関係を確立し、ハッシュテーブル内のバケット走査を効率化するための指針を提供する。
• 複数のハッシュテーブルにバイナリコードをマッピングするマルチインデックスハッシング構造を設計し、検索カバレッジと効率性を向上させる。
• コサイン類似度-ハミング距離の双対性に基づいて、全比較を伴わずに高速な照会が可能なハッシュテーブルバケットの走査順序を導出する。
• 導出されたバケット走査順序を活用して、コサイン類似度の観点からクエリに最も近いK個のバイナリコードを体系的に検索する。
• バイナリコードの構造とその幾何的性質を活用し、類似度検索中に全データセットスキャンを回避する。
• 事前に計算されたバケット走査順序を活用するクエリ処理パイプラインを実装し、最小限の計算で候補を取得する。

実験結果

リサーチクエスチョン

• RQ1 ハミング距離とコサイン類似度の関係を活用することで、バイナリコードに対する高速かつ正確な検索手順を設計できるか？
• RQ2 全探索を伴わず、ハッシュテーブル参照のみでコサイン類似度の下での正確なK近傍検索が可能か？
• RQ3 提案手法のマルチインデックスハッシングは、全探索やLSHベースの手法と比較して、速度と正確性の点でどのように差をつけるか？
• RQ4 提案手法は、正確性を維持したまま、実世界の大規模データセットにも効率的にスケーリング可能か？
• RQ5 検索速度と正確性を最大化するために、ハッシュテーブルバケットをどの順序で走査すべきか？

主な発見

• 提案手法は、大規模なバイナリコーディングデータセットにおけるコサイン類似度検索で、全探索と比較してオーダー・オブ・マグニチュードの高速化を達成した。
• LSHのような近似手法とは異なり、コサイン類似度の下でK個の最も類似したアイテムの正確な検索を可能にした。
• ハミング距離とコサイン類似度の双対性を活用することで、1クエリあたりのハッシュテーブルプローブ回数を削減した。
• 実世界のデータセットを用いた実験的評価により、本手法が全探索およびLSHの両方を、クエリ速度の点で上回ることが確認された。
• マルチインデックスハッシング構造により、複数の独立したハッシュテーブルを通じて高類似度アイテムの検出確率が向上し、検索効率が向上した。
• 計算コストを顕著に削減しながらも高い検索正確性を維持したため、大規模応用に適した手法であることが示された。