[論文レビュー] The Faiss library

Matthijs Douze, Alexandr Guzhva+7 more|arXiv (Cornell University)|Jan 16, 2024

Data Management and Algorithms被引用数 55

ひとこと要約

Faiss はベクトル類似性検索の産業グレードのツールキットで、柔軟なインデックス作成、圧縮、非全探索検索手法のセットを提供し、精度・速度・メモリのパレート最適なトレードオフを探索するベンチマークフレームワークを備えています。

ABSTRACT

Vector databases typically manage large collections of embedding vectors. Currently, AI applications are growing rapidly, and so is the number of embeddings that need to be stored and indexed. The Faiss library is dedicated to vector similarity search, a core functionality of vector databases. Faiss is a toolkit of indexing methods and related primitives used to search, cluster, compress and transform vectors. This paper describes the trade-off space of vector search and the design principles of Faiss in terms of structure, approach to optimization and interfacing. We benchmark key features of the library and discuss a few selected applications to highlight its broad applicability.

研究の動機と目的

• ベクトル類似性検索における設計原理とトレードオフを説明する。
• Faiss を単一の手法ではなく道具箱としてのアーキテクチャと構成要素を説明する。
• 圧縮と非全探索検索が現実的に大規模で高精度な ANN をどのように実現するかを示す。
• Faiss の適用範囲の広さを示すベンチマーク手法と事例を紹介する。

提案手法

• ベクトル検索のトレードオフ領域と Faiss の設計原理を説明する。
• 主な二つのツールであるベクトル圧縮と非全探索検索を説明し、それらが柔軟なインデックス作成をどう実現するか。
• ライブラリの構造、インターフェース、Faiss をビルディングブロックまたはスクリプタブルツールとしてどのように利用できるかを概説する。
• インデックス構成要素のパレート最適な構成を探索するベンチマークフレームワークを紹介する。
• 前処理とエンコーディングの選択（例: PCA、OPQ）とそれらが精度と効率に与える影響について議論する。

Figure 1: Example of exploration of a parameter space with 3 parameters (an IndexIVFPQ with polysemous codes and HNSW coarse quantizer, running on the Deep100M dataset). The total number of configurations is 5808, but only 398 experiments are run. We also show the set of operating points obtained wi

実験結果

リサーチクエスチョン

• RQ1 Faiss に関連するベクトル類似性検索の本質的なトレードオフは何か？
• RQ2 圧縮と非全探索検索は Faiss におけるスケーラブルな ANN の性能向上にどのように寄与するか？
• RQ3 さまざまな制約の下で、精度・速度・メモリをバランスさせるように Faiss のインデックスをどのように構成できるか？
• RQ4 Faiss での ANN 性能向上に寄与する前処理とエンコーディング戦略は何か？
• RQ5 Faiss は下流システムや実世界アプリケーションとどのように統合されるのか？

主な発見

• Faiss は、圧縮と非全探索検索オプションを通じて精度・メモリ・速度をトレードオフできる設計空間を公開しています。
• ベンチマークフレームワークは、与えられた制約の下で大規模なパラメータ空間をパレート最適な構成に絞り込むことができます。
• Faiss は CPU および GPU 検索の両方をサポートし、さまざまなスケールとユースケースに合わせて組み合わせ可能なインデックスタイプの範囲を提供します。
• 前処理変換（例: PCA、ランダム回転、OPQ）は量子化器の効果と検索精度を向上させます。
• このライブラリは、兆レベルのインデックス作成、テキスト検索、データマイニング、コンテンツモデレーションなどのアプリケーションで実証されています。

Figure 2: The hierarchy of quantizers. Each quantizer can represent the set of reproduction values of the enclosed quantizers.