[논문 리뷰] The Faiss library

Matthijs Douze, Alexandr Guzhva외 7명|arXiv (Cornell University)|2024. 01. 16.

Data Management and Algorithms인용 수 55

한 줄 요약

Faiss는 벡터 유사도 검색을 위한 산업급 도구상자로, 정확도, 속도 및 메모리 간의 파레토 최적 트레이드오프를 탐색하기 위한 벤치마킹 프레임워크를 제공하며, 유연한 인덱싱, 압축 및 비완전 탐색 방법 세트를 제공합니다.

ABSTRACT

Vector databases typically manage large collections of embedding vectors. Currently, AI applications are growing rapidly, and so is the number of embeddings that need to be stored and indexed. The Faiss library is dedicated to vector similarity search, a core functionality of vector databases. Faiss is a toolkit of indexing methods and related primitives used to search, cluster, compress and transform vectors. This paper describes the trade-off space of vector search and the design principles of Faiss in terms of structure, approach to optimization and interfacing. We benchmark key features of the library and discuss a few selected applications to highlight its broad applicability.

연구 동기 및 목표

• 벡터 유사도 검색에서의 설계 원칙과 트레이드오프를 설명한다.
• Faiss의 아키텍처와 구성 요소를 단일 방법이 아니라 도구상자로서 설명한다.
• 압축과 비완전 탐색이 실제로 확장 가능한 고정밀 ANN을 어떻게 가능하게 하는지 보여준다.
• Faiss의 폭넓은 활용성을 보여주기 위한 벤치마킹 방법과 응용 사례를 제시한다.

제안 방법

• 벡터 검색의 트레이드오프 공간과 Faiss 설계 원칙을 설명한다.
• 두 가지 주요 도구인 벡터 압축과 비완전 탐색을 설명하고 이것들이 어떻게 유연한 인덱싱을 가능하게 하는지 설명한다.
• 라이브러리 구조, 인터페이스, 그리고 Faiss를 빌딩 블록이나 스크립터블 도구로 어떻게 사용할 수 있는지 개요를 제시한다.
• 인덱스 구성 요소의 파레토 최적 구성을 탐색하는 벤치마킹 프레임워크를 소개한다.
• 전처리 및 인코딩 선택(예: PCA, OPQ)과 그것들이 정확도와 효율성에 미치는 영향을 논의한다.

Figure 1: Example of exploration of a parameter space with 3 parameters (an IndexIVFPQ with polysemous codes and HNSW coarse quantizer, running on the Deep100M dataset). The total number of configurations is 5808, but only 398 experiments are run. We also show the set of operating points obtained wi

실험 결과

연구 질문

• RQ1 Faiss와 관련된 벡터 유사도 검색의 필수 트레이드오프는 무엇인가?
• RQ2 압축과 비완전 탐색이 Faiss에서 확장 가능한 ANN 성능에 어떻게 기여하는가?
• RQ3 다양한 제약하에서 정확도, 속도, 메모리의 균형을 맞추기 위해 Faiss 인덱스를 어떻게 구성할 수 있는가?
• RQ4 Faiss에서 어떤 전처리 및 인코딩 전략이 ANN 성능을 향상시키는가?
• RQ5 Faiss가 다운스트림 시스템 및 실제 응용 분야와 어떻게 통합되는가?

주요 결과

• Faiss는 정확도, 메모리 및 속도를 압축 및 비완전 탐색 옵션을 통해 트레이드오프할 수 있는 설계 공간을 노출한다.
• 벤치마킹 프레임워크는 주어진 제약 조건에 대해 파레토 최적 구성을 찾기 위해 큰 매개변수 공간을 가지치기할 수 있다.
• Faiss는 CPU 및 GPU 검색을 모두 지원하며 다양한 규모와 사용 사례에 맞게 구성할 수 있는 인덱스 유형의 범위를 제공한다.
• 전처리 변환(예: PCA, 임의 회전, OPQ)은 양자화기의 효과와 검색 정확도를 향상시킨다.
• 라이브러리는 트릴리온 규모의 인덱싱, 텍스트 검색, 데이터 마이닝, 콘텐츠 모더레이션 등을 포함한 다양한 응용 분야에서 시연된다.

Figure 2: The hierarchy of quantizers. Each quantizer can represent the set of reproduction values of the enclosed quantizers.