[論文レビュー] Searching in one billion vectors: re-rank with source coding

Hervé Jeǵou, Romain Tavenard+2 more|arXiv (Cornell University)|Feb 18, 2011

Advanced Image and Video Retrieval Techniques参考文献 11被引用数 34

ひとこと要約

本稿では、ソース符号化を用いて、数十億スケールのベクトルデータベースにおける近似最近傍検索のためのメモリ効率の良い再順序付け手法を提案する。フルベクトルをディスクからアクセスするのではなく、量子化コードからの近似距離を精緻化することで、最小限のパフォーマンスオーバーヘッドで最先端のリCALLを達成した。本手法は、10億個の128次元SIFTベクトルからなる新しい公開データセットを用いて検証された。

ABSTRACT

Recent indexing techniques inspired by source coding have been shown successful to index billions of high-dimensional vectors in memory. In this paper, we propose an approach that re-ranks the neighbor hypotheses obtained by these compressed-domain indexing methods. In contrast to the usual post-verification scheme, which performs exact distance calculation on the short-list of hypotheses, the estimated distances are refined based on short quantization codes, to avoid reading the full vectors from disk. We have released a new public dataset of one billion 128-dimensional vectors and proposed an experimental setup to evaluate high dimensional indexing algorithms on a realistic scale. Experiments show that our method accurately and efficiently re-ranks the neighbor hypotheses using little memory compared to the full vectors representation.

研究の動機と目的

• 大規模な近似最近傍検索における、後続検証処理の高コストなメモリ使用量とI/O負荷を軽減すること。
• フルベクトルをディスクからアクセスせずに、圧縮された量子化コードを活用することで、検索精度を向上させること。
• 10億ベクトルという現実的スケールにおいて、高次元インデキシング手法の性能を評価すること。
• 短いコードを用いた再順序付けが、計算オーバーヘッドを低く抑えつつ、ほぼ完全なリCALLを達成できることを示すこと。

提案手法

• 本手法は、圧縮ドメインでのインデキシングから得られる近傍候補を、短い量子化コードから推定した距離を用いて再順序付けすることで、フルベクトルの取得を回避する。
• RAMに保持された追加のコードブック情報を利用して、製品量子化（PQ）を拡張し、近似距離を精緻化する。
• 2段階のプロセスを採用する：まず、製品量子化による高速な近似検索；次に、量子化表現を用いて精緻化された距離を計算する再順序付けステップ。
• 再精緻化は、スケーラブルなソース符号化に類似したモデルに基づく。再構成誤差を逐次的に低減する複数のコードレイヤーを用いる。
• 本手法は、10億個の128次元SIFTベクトルからなる新しい公開データセットを用いて評価された。真の最近傍ベクトルは正確な線形スキャンにより事前に計算済み。
• 再順序付けステップでは、ベクトル1つあたり8〜64バイトの量子化コードのみを用いて距離を推定し、ディスクアクセスを顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 短い量子化コードに基づく再順序付けは、フルベクトルをディスクからアクセスせずに、数十億スケールのベクトル検索におけるリCALLを向上させることができるか？
• RQ2 本手法の再順序付け性能は、正確な距離を用いた標準的な後続検証処理と比較してどうなるか？
• RQ3 再順序付けに使用するバイト数を増加させた場合、検索精度と効率にどのような影響が生じるか？
• RQ4 データベースサイズが増加する際、特にリCALLの低下と外れ値の取り扱いに関して、本手法はどのようにスケーリングするか？

主な発見

• 提案手法（ADC+RおよびIVFADC+R）は、ベースライン手法と比較して顕著に高いリCALLを達成した。10億ベクトルの全データセットにおいて、リCALL@100はADCの0.586からADC+Rの0.951に向上した。
• 再順序付けに32バイトを割り当てた場合、リCALL@100は98.5%に達し、正確な検索の性能に近い結果を得たが、圧縮コードのみを用いた。
• 再順序付けを追加したことで、1クエリあたり0.06秒（5.626秒から5.686秒）のクエリ時間増加にとどまり、パフォーマンスオーバーヘッドは最小限に抑えられた。
• 同じメモリ予算において、ADC+RはADCよりも高いリCALLを達成しており、再順序付けのコストが低いため、検索速度は約2倍に向上した。
• データベースサイズが増加するに従い、再順序付けステップの重要性が高まり、正確な再順序付け（m′=16）を用いた場合、再順序付けなしと比較して性能低下がよりなだらかに推移した。
• 再順序付けに64バイトを割り当てた場合、リCALL@100は100%に達し、スケールに応じた本手法の有効性を実証した。