[論文レビュー] FLASH: Randomized Algorithms Accelerated over CPU-GPU for Ultra-High Dimensional Similarity Search

Yiqiu Wang, Anshumali Shrivastava+2 more|arXiv (Cornell University)|Sep 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 9

ひとこと要約

FLASH は、ランダム化 LSH とリザーバー・サンプリング、ワンパス最小ハッシュ化、カウントベース推定を組み合わせることで、CPU-GPU ハイブリッド環境における超高次元類似度検索を高速化し、13億非ゼロ要素を有する webspam データセット上で k-NN グラフ構築を 10 秒未塔で達成。ブルートフォース手法を 20 テラフロップス以上上回り、FAISS や HNSW といった最先端のツールよりも高速性とスケーラビリティに優れる。

ABSTRACT

We present FLASH ( extbf{F}ast extbf{L}SH extbf{A}lgorithm for extbf{S}imilarity search accelerated with extbf{H}PC), a similarity search system for ultra-high dimensional datasets on a single machine, that does not require similarity computations and is tailored for high-performance computing platforms. By leveraging a LSH style randomized indexing procedure and combining it with several principled techniques, such as reservoir sampling, recent advances in one-pass minwise hashing, and count based estimations, we reduce the computational and parallelization costs of similarity search, while retaining sound theoretical guarantees. We evaluate FLASH on several real, high-dimensional datasets from different domains, including text, malicious URL, click-through prediction, social networks, etc. Our experiments shed new light on the difficulties associated with datasets having several million dimensions. Current state-of-the-art implementations either fail on the presented scale or are orders of magnitude slower than FLASH. FLASH is capable of computing an approximate k-NN graph, from scratch, over the full webspam dataset (1.3 billion nonzeros) in less than 10 seconds. Computing a full k-NN graph in less than 10 seconds on the webspam dataset, using brute-force ($n^2D$), will require at least 20 teraflops. We provide CPU and GPU implementations of FLASH for replicability of our results.

研究の動機と目的

• 1000万次元を超える超高次元かつスパースなデータセットにおける正確な k-NN 検索が計算的に非現実的であるという問題に対処すること。
• LSH や製品量子化といった既存の近似手法の限界（偏ったバケット、メモリの肥大化）を克服すること。
• 単一マシンの CPU-GPU プラットフォーム上で高い性能と強い理論的保証を達成するシステムを設計すること。
• 推薦システム、クリックスループレディクション、ソーシャルネットワークマイニングといった実世界の応用に適した高速でスケーラブルかつ再現可能なかつての類似度検索を可能にすること。

提案手法

• 高次元スパースベクトルをコンactなハッシュコードにマッピングするために、符号付きランダムプロジェクションを用いたローカリティセンシティブハッシュ（LSH）を活用する。
• ワンパス最小ハッシュ化と DOPH（Distributed One-Pass Hashing）を用いて、低メモリかつ高並列性でジャカード類似度を効率的に推定する。
• 頻出トークンによるバケットの過剰な偏りを回避し、パフォーマンス劣化を防ぐためにリザーバー・サンプリングを採用する。
• 明示的な距離計算なしに類似度順序付けを高速化するためにカウントベース推定を適用する。
• これらの技術を CPU-GPU ハイブリッドアーキテクチャに統合し、データ並列性を活用してインデキシングおよびクエリの遅延を低減する。
• 最適化された GPU カーネルを統合することで、ハッシュ化時間がデータロード時間より速くなるよう設計し、エンドツーエンドの k-NN グラフ構築を 10 秒未塔で実現する。

実験結果

リサーチクエスチョン

• RQ1 13億非ゼロ要素を有する超高次元データセット（webspam）に対して、ランダム化 LSH を用いたシステムが 10 秒未塔の k-NN グラフ構築を達成できるか。
• RQ2 FAISS や HNSW といった最先端のシステムと比較して、FLASH は高次元スパースデータにおける速度と正確性の両面で優れているか。
• RQ3 リザーバー・サンプリングは理論的保証を損なわず、LSH におけるバケットの偏り問題を効果的に緩和できるか。
• RQ4 ワンパス最小ハッシュ化とカウントベース推定は、類似度検索における計算コストをどの程度低減できるか。
• RQ5 GPU アクセレレーションを LSH およびリザーバー・サンプリングと効果的に組み合わせることで、大規模データセットに対してほぼ定数時間のインデキシングが可能になるか。

主な発見

• FLASH は webspam データセット（13億非ゼロ要素）に対して、10 秒未塔で完全な k-NN グラフを構築した。これはブルートフォースによる正確な検索で少なくとも 20 テラフロップスを要するタスクである。
• RCV1 データセットにおいて、FLASH は類似度が 0.85 以上の高類似度近傍の再現率が 80% を超え、高次元における FAISS よりも速度と再現率の両面で優れた性能を示した。
• GPU カーネルの最適化により、インデキシング時間がデータロード時間未満に短縮され、ハッシュ化処理が I/O よりも速くなった。
• リザーバー・サンプリングはバケットの偏りを効果的に緩和し、負荷分散を改善し、CPU および GPU 間の効率的な並列処理を可能にした。
• 高次元スパースデータセットにおいて、FLASH は FAISS よりも 10 倍、HNSW よりも 30 倍の高速化を達成し、正確性は同等またはそれ以上であった。
• DOPH とリザーバー・サンプリングの統合により、理論的保証を強固に保ちつつ実用的効率性を実現し、標準的な LSH やプロジェクションベース手法を上回った。