[論文レビュー] Link and code: Fast indexing with graphs and compact regression codes

MMatthijs Douze, Alexandre Sablayrolles+1 more|arXiv (Cornell University)|Apr 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 7

ひとこと要約

本稿では、メモリ制約が厳しい環境下でも精度を向上させるために、コン pact なベクトル符号化と、局所的な近傍からの量子化回帰を組み合わせた、グラフベースの近似最近傍探索手法である Link and Code (L&C) を提案する。最適化されたプロダクト量子化 (OPQ) を用いてベクトルを 8–32 バイトに圧縮し、階層的可航行小規模世界 (HNSW) グラフを活用して高速かつ高選別性のグラフ走査を実現する。局所近傍からの回帰コードを学習することで、わずかなメモリオーバーヘッドで精度を向上させ、Deep1B や BIGANN といった数十億規模のデータセットにおいて、1 ベクトルあたり 64–128 バイトの記憶容量で最先端の精度を達成し、高速な検索時間を実現した。

ABSTRACT

Similarity search approaches based on graph walks have recently attained outstanding speed-accuracy trade-offs, taking aside the memory requirements. In this paper, we revisit these approaches by considering, additionally, the memory constraint required to index billions of images on a single server. This leads us to propose a method based both on graph traversal and compact representations. We encode the indexed vectors using quantization and exploit the graph structure to refine the similarity estimation. In essence, our method takes the best of these two worlds: the search strategy is based on nested graphs, thereby providing high precision with a relatively small set of comparisons. At the same time it offers a significant memory compression. As a result, our approach outperforms the state of the art on operating points considering 64-128 bytes per vector, as demonstrated by our results on two billion-scale public benchmarks.

研究の動機と目的

• 大規模類似度検索におけるスケーラビリティと精度のトレードオフを解消するため、メモリ効率の良いコンパクトな符号化と高精度なグラフ走査を組み合わせること。
• 1 つのサーバー上で 10 億ベクトルのインデキシングを可能にしつつ、高い検索精度を維持すること。
• グラフ接続性を活用して、局所近傍からの量子化回帰により、コンパクト表現における距離推定精度を向上させること。
• 大きなコードサイズを持つ高精度な領域において、インデックスの候補生成にグラフベースの手法がインバーテッドリストベースの手法を上回ることを示すこと。

提案手法

• 本手法は、データベースベクトルを 1 ベクトルあたり 8–32 バイトに圧縮するため、最適化されたプロダクト量子化 (OPQ) を用いる。
• 検索時の高速かつ高選別性のグラフ走査を実現するため、階層的可航行小規模世界 (HNSW) グラフを構築する。
• 各ベクトルは、グラフ内での k 個の最近傍から元のベクトルを予測する量子化回帰モデルにより精錬され、回帰係数の学習済みコードブックが使用される。
• 再構成誤差が最小になるように、反復的最適化により回帰係数を学習する。
• 回帰重みのストレージは 1 ベクトルあたり数バイトに留め、最小限のメモリオーバーヘッドを実現する。
• 本手法は Faiss ライブラリに統合され、Deep1B および BIGANN ベンチマーク（10 億ベクトル）で評価された。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの検索戦略とコンパクトなベクトル表現を効果的に組み合わせることで、1 つのサーバー上で 10 億ベクトルにスケーリング可能か？
• RQ2 初期近似として粗い重心を使用する方が、コンパクトコードブック内の最近傍を使用するよりも優れているか？
• RQ3 グラフ近傍からの量子化回帰により、わずかなメモリコストで類似度推定精度を顕著に向上できるか？
• RQ4 大きなコードサイズ（例：128 バイト）を持つ高精度な領域において、HNSW の選別性は IMI などのインバーテッドリストベース手法を上回るか？
• RQ5 コンパクトな符号化とグラフ精錬の組み合わせにより、10 億規模のベンチマークで最先端のパフォーマンスを達成できるか？

主な発見

• Deep1B ベンチマークにおいて、L&C は 108 バイト/ベクトルで 1 クエリあたり 3.50ms、リコール@1 が 66.7% を達成し、Polysemous コード（45.6% リコール@1）や他の手法を上回る精度と速度を実現した。
• Deep1B において、96 バイト/ベクトルで L&C は IMI より 2.5 倍高速に 50% リコール@1 を達成し、精度-効率トレードオフの優位性を示した。
• わずか数バイトの追加メモリで、量子化回帰による精錬ステップが精度を顕著に向上させた。
• HNSW を用いた候補生成は、特にコードサイズが大きい場合（例：128 バイト）に IMI よりもはるかに高い選別性を示し、高精度な領域ではグラフベース手法の優位性が顕著に現れた。
• 本手法は、1 つのサーバー上で 10 億ベクトルにスケーリング可能であり、HNSW や他のグラフベース手法が完全なベクトル保存を必要とするのに対し、これは前例のない能力である。
• L&C は Deep1B および BIGANN で両方とも最先端のパフォーマンスを達成し、実用的なメモリ使用量で高精度領域における新しいベンチマークを設定した。