[論文レビュー] Efficient Inner Product Approximation in Hybrid Spaces

Xiang Wu, Ruiqi Guo+3 more|arXiv (Cornell University)|Mar 20, 2019

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 6

ひとこと要約

この論文は、スパースおよび密度の高いベクトルを組み合わせた高次元ハイブリッド空間における効率的な内積近似のための新規手法を提案する。アーキテクチャに配慮したデータ構造を活用することで、高い再現率を維持しながら10倍以上の高速化を達成した。本手法は、数十億規模のデータセットにおいて既存のベースラインを上回り、推薦システムやドキュメント検索などの実世界の応用において高速かつ正確な類似度検索を可能にする。

ABSTRACT

Many emerging use cases of data mining and machine learning operate on large datasets with data from heterogeneous sources, specifically with both sparse and dense components. For example, dense deep neural network embedding vectors are often used in conjunction with sparse textual features to provide high dimensional hybrid representation of documents. Efficient search in such hybrid spaces is very challenging as the techniques that perform well for sparse vectors have little overlap with those that work well for dense vectors. Popular techniques like Locality Sensitive Hashing (LSH) and its data-dependent variants also do not give good accuracy in high dimensional hybrid spaces. Even though hybrid scenarios are becoming more prevalent, currently there exist no efficient techniques in literature that are both fast and accurate. In this paper, we propose a technique that approximates the inner product computation in hybrid vectors, leading to substantial speedup in search while maintaining high accuracy. We also propose efficient data structures that exploit modern computer architectures, resulting in orders of magnitude faster search than the existing baselines. The performance of the proposed method is demonstrated on several datasets including a very large scale industrial dataset containing one billion vectors in a billion dimensional space, achieving over 10x speedup and higher accuracy against competitive baselines.

研究の動機と目的

• スパースおよび密度の高い特徴を組み合わせた高次元ハイブリッドベクトル空間における効率的な類似度検索の課題に対処すること。
• 既存のスパースまたは密度の高いデータ専用技術の限界を克服し、低遅延検索を実現しながら高い正確性を維持する手法を開発すること。
• 現代のCPUアーキテクチャの特徴を活用した、主記憶領域におけるパフォーマンス最適化を図るデータ構造を設計すること。
• 最大10億ベクトルの産業スケールのデータセットに対して、スケーラブルかつリアルタイムの類似度検索を可能にすること。
• 公開データセットおよび大規模産業データセットにおいて、最先端のベースラインと比較して速度と再現率の両面で優れた性能を示すことを実証すること。

提案手法

• 本手法は、ハイブリッドベクトル間の内積を、スパース部と密度部に分離して計算することで、効率的な計算を可能にする。
• スパース部にはインverted indexing、密度部にはパーサイズ量子化（PQ）を組み合わせたハイブリッドインデックス構造を採用し、検索を高速化する。
• 2段階のリトリーブを実施する：まず、ハイブリッドインデックスを用いて近似候補を取得し、次に上位候補に対してのみ正確な内積を計算することで、正確性を保証する。
• CPUキャッシュ階層とベクトル命令セットを最大限に活用して、スループットを最大化し、遅延を最小限に抑える最適化を実施する。
• 200台のサーバーにデータセットをシャーディングする分散型オンライン検索システムを実装し、低遅延かつ高スループットのオンラインクエリを実現する。
• 密度部をスパース形式に変換することなく、完全なハイブリッドベクトル空間を処理することで、パフォーマンスと正確性を損なわない。

実験結果

リサーチクエスチョン

• RQ1 既存の技術が失敗するハイブリッドスパース・密度ベクトル空間において、統一的かつ効率的な内積近似手法を設計できるか？
• RQ2 現代のコンピュータアーキテクチャの特徴を活用することで、ハイブリッドベクトル空間における類似度検索をどのように高速化できるか？
• RQ3 スパース性と密度が混合した数十億次元のハイブリッドデータセットを検索する際、速度と再現率のトレードオフはどのように変化するか？
• RQ4 スパース部と密度部を別々にインデックス化する手法と比較して、ハイブリッドインデックス戦略が速度と正確性の両面で優れているか？
• RQ5 本手法は、10億ベクトルおよび数兆次元の産業スケールのデータセットにどのようにスケーリングできるか？

主な発見

• 10億ベクトル・10億次元の産業データセット（QuerySim）において、本手法は20件あたり91%の再現率（recall@20）を達成し、クエリ遅延が20.0msで、次善のベースラインを20倍以上も高速化した。
• 同じデータセットで全ペア類似度検索を実行した場合、スパースインvertedインデックスでは3か月、スパースブルートフォースでは9年かかるが、本手法では1週間未満に短縮された。
• NetflixおよびMovielensハイブリッド公開データセットにおいて、本手法は20件あたり91–92%の再現率（recall@20）を達成し、同等または優れた再現率を示すベースラインと比較して著しく高速だった。
• 200台のサーバーで構成される分散型オンライン環境でも、平均遅延79msで90%の再現率（recall@20）を達成し、リアルタイムプロダクション要件を満たした。
• 512ビットのハミングベースハッシングや密度部のみのPQインデックスと比較して、本手法は高速化を達成したが、再現率の著しい低下（0–45%）を示すベースラインとは対照的だった。
• 密度部が顕著な場合（例：203次元）でも、本手法は高い正確性を維持しており、純粋なスパースまたは密度手法で見られる性能劣化を回避した。