[論文レビュー] Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets

Thiago Teixeira, George Teodoro+2 more|arXiv (Cornell University)|Oct 15, 2013

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 4

ひとこと要約

本論文は、階層的並列処理、局所性に配慮したデータ分割、およびマルチプローブを用いて、801コアで90%の効率性を達成するスケーラブルで分散型の局所性に敏感なハッシュ（LSH）インデックスを、高次元で大規模なマルチメディア類似度検索に提案する。本研究では、公開済みで最大のデータセット（10億個の128次元SIFTベクトル）を処理し、通信量を30%削減し、ベースラインの分割戦略に比べて1.68倍の性能向上を達成した。

ABSTRACT

Similarity search is critical for many database applications, including the increasingly popular online services for Content-Based Multimedia Retrieval (CBMR). These services, which include image search engines, must handle an overwhelming volume of data, while keeping low response times. Thus, scalability is imperative for similarity search in Web-scale applications, but most existing methods are sequential and target shared-memory machines. Here we address these issues with a distributed, efficient, and scalable index based on Locality-Sensitive Hashing (LSH). LSH is one of the most efficient and popular techniques for similarity search, but its poor referential locality properties has made its implementation a challenging problem. Our solution is based on a widely asynchronous dataflow parallelization with a number of optimizations that include a hierarchical parallelization to decouple indexing and data storage, locality-aware data partition strategies to reduce message passing, and multi-probing to limit memory usage. The proposed parallelization attained an efficiency of 90% in a distributed system with about 800 CPU cores. In particular, the original locality-aware data partition reduced the number of messages exchanged in 30%. Our parallel LSH was evaluated using the largest public dataset for similarity search (to the best of our knowledge) with $10^9$ 128-d SIFT descriptors extracted from Web images. This is two orders of magnitude larger than datasets that previous LSH parallelizations could handle.

研究の動機と目的

• Web規模で高次元のマルチメディアデータセットにおける類似度検索のスケーラビリティ課題に対処すること。
• 分散型非均一メモリアーキテクチャにおける逐次的LSH実装の制限を克服すること。
• データの複製を回避し、通信オーバーヘッドを最小限に抑える並列LSHシステムを設計すること。
• 実世界のスケーラビリティを実証するために、公開済みで最大のマルチメディアデータセット（10億個の128次元SIFT記述子）上でシステムを評価すること。
• マルチプローブと効率的なデータ分割戦略を用いて、性能とメモリ効率の両方を最適化すること。

提案手法

• ハッシュテーブル管理とデータストレージを分離するデータフローパイプラインにLSHを分解し、データの複製を回避する。
• ノードごとにステートフルなステージをマルチスレッド化した階層的並列処理を実装し、データパーティション数を削減し、スケーラビリティを向上させる。
• LSHベースのマッピングを用いて局所性に配慮したデータ分割を適用し、ノード間通信量を最小限に抑え、データアクセスの局所性を向上させる。
• 広範な非同期設計を採用して通信と計算を重ね合わせ、スループットを向上させる。
• LSHにマルチプローブを導入し、必要なハッシュテーブル数を削減することで、メモリ使用量を制限しながら検索品質を維持する。
• マルチプローブ処理におけるメッセージグループ化を最適化し、通信量を削減し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分散メモリ環境において、過度な通信コストを伴わずにLSHを効果的に並列化できるか？
• RQ2 局所性に配慮したデータ分割戦略は、分散LSHインデックスにおける通信量と性能にどのように影響するか？
• RQ3 分散型マルチプローブLSHシステムにおいて、ハッシュテーブル数（L）、各テーブルのハッシュ関数数（M）、プローブ数（T）の最適なトレードオフは何か？
• RQ4 階層的並列処理とマルチプローブは、検索品質を維持しながら、メモリフットプリントをどの程度削減できるか？
• RQ5 本手法は、10億個の128次元SIFT記述子からなる大規模データセット上で、どの程度スケーリング可能か？

主な発見

• 提案された分散LSHは、51ノードにまたがる801コアで90%の効率性を達成し、大規模システムにおける強いスケーラビリティを示した。
• LSH関数に基づく局所性に配慮したデータ分割戦略により、ベースライン手法と比較してメッセージ送信量が30%削減された。
• LSHベースのデータ分割は、modおよびZオーダーのマッピング戦略に比べて、少なくとも1.68倍の性能向上を達成し、負荷の不均衡は最小限（1.80%）に抑えられた。
• L=6、M=32、T=60の条件下で、リコールは約0.74を達成し、実行時間はプローブ数Tの増加に伴い非線形的に増加した。
• 性能とメモリ使用量のバランスを考慮した場合、最適なハッシュテーブル数（L）と1テーブルあたりのハッシュ関数数（M）は、それぞれ6～12および30～40の範囲にあった。
• マルチプローブにより、高い検索品質を維持しながら必要なハッシュテーブル数を顕著に削減でき、メモリ効率が向上した。