[論文レビュー] Zoom: SSD-based Vector Search for Optimizing Accuracy, Latency and Memory

Minjia Zhang, Yuxiong He|arXiv (Cornell University)|Sep 11, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 3

ひとこと要約

Zoomは、高速な候補プレビュー用にメモリ内に保存された量子化済みベクトルと、高精度な再ランク付け用にSSDに保存されたフル長ベクトルを組み合わせた2段階型SSDベースのベクトル検索システムを提案する。マルチビュー手法を活用することで、最先端の手法と比較して最大14.9倍高いVQ（1秒あたりのマシンあたりのベクトル数）を達成しながら、再検出率を維持または向上させ、インfra構成コストとレイテンシを顕著に削減した。

ABSTRACT

With the advancement of machine learning and deep learning, vector search becomes instrumental to many information retrieval systems, to search and find best matches to user queries based on their semantic similarities.These online services require the search architecture to be both effective with high accuracy and efficient with low latency and memory footprint, which existing work fails to offer. We develop, Zoom, a new vector search solution that collaboratively optimizes accuracy, latency and memory based on a multiview approach. (1) A "preview" step generates a small set of good candidates, leveraging compressed vectors in memory for reduced footprint and fast lookup. (2) A "fullview" step on SSDs reranks those candidates with their full-length vector, striking high accuracy. Our evaluation shows that, Zoom achieves an order of magnitude improvements on efficiency while attaining equal or higher accuracy, comparing with the state-of-the-art.

研究の動機と目的

• オンラインサービスにおける大規模ベクトル検索において、高精度、低レイテンシ、低メモリ使用量のバランスをとる課題に対処すること。
• 既存のグラフベースおよび量子化ベースの近似最近傍探索（ANN）手法には、高メモリ使用量や精度の低下といった限界があるため、それを克服すること。
• 2段階のプレビューと再ランク付けアーキテクチャを用いて、SSDを活用して効率的なフルベクトル再ランク付けを実現するとともに、レイテンシとメモリ使用量を最小限に抑えるシステムを設計すること。
• 実際のインfra構成コストとスケーラビリティをより的確に反映するため、新規な効率性指標「VQ（1台あたりのマシンが処理可能なクエリ数×秒）」を導入すること。

提案手法

• メインメモリに保存された圧縮・量子化済みベクトルを用いたプレビュー段階を採用し、真のトップ-K近傍ベクトルを含む可能性の高い小さな候補集合を高速に取得する。
• SSD上でのフルビュー段階で、フル長ベクトルを用いて候補集合を再ランク付けし、量子化による誤差を是正することで高精度を確保する。
• バッチ処理と非ブロッキングI/O、SSD上の候補再ランク付け処理の非同期送信を最適化することでレイテンシを低減する。
• 再ランク付けフェーズにおける計算オーバーヘッドを最小限に抑えるため、効率的な距離計算およびルーティング戦略を実装する。
• 高速メモリ（プレビュー用）と永続的SSD（フルベクトル用）を組み合わせた階層型ストレージアーキテクチャを活用し、速度、精度、コストのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 メモリ内プレビューとSSDベースのフルベクトル再ランク付けを組み合わせた2段階型ベクトル検索システムは、メモリ使用量とレイテンシを削減しながら、既存手法を上回る精度を達成できるか？
• RQ2 IVFPQ や HNSW といった最先端のANN手法と比較して、提案された Zoom システムは VQ（効率性）、再検出率（精度）、レイテンシの観点でどのように差をつけるか？
• RQ3 SSDを高スループットかつ低レイテンシの候補ベクトル再ランク付けに効果的に活用できるか？ その場合、全体のシステムパフォーマンスに悪影響を及げないか？
• RQ4 候補集合サイズ（R）と再ランク付けレイテンシの最適なトレードオフは何か？ また、その影響は再検出率とシステムスループットにどのように現れるか？

主な発見

• ZoomはIVFPQと比較して1.7～8.0倍、HNSWと比較して2.7～9.0倍のVQ向上を達成しており、システム効率性とコスト削減の大幅な向上を示している。
• 同じ精度目標（例：再検出率 ≥0.90）のもとで、ZoomはIVFPQと比較して12.2～14.9倍高いVQを達成しており、インfra構成コストを12.2～14.9倍も削減できる。
• R=100の場合、Deep10M（K=1）で再検出率0.998を達成し、同等またはより良いレイテンシでIVFPQ（0.697）やHNSW（0.983）を大きく上回った。
• Samsung Pro 960 SSDで100個のフル長ベクトル（512バイト）の再ランク付けに0.6ms未満を要し、オンラインワークロードに適した低レイテンシ性能を実証した。
• コンsumerグレードのSSD（例：Samsung 860 EVO）でも、100個のベクトルの再ランク付けが1.2ms未満で実行可能であり、ストレージ階層を問わず高い性能を維持していることが確認された。
• マルチビュー手法により、わずかな候補集合でさえもほぼ完璧な再検出率（最大0.998）を達成でき、効率性を犠牲にすることなく高精度を実現できることが証明された。