[논문 리뷰] Vector Search with OpenAI Embeddings: Lucene Is All You Need

Jimmy Lin, Ronak Pradeep외 2명|arXiv (Cornell University)|2023. 08. 29.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

이 논문은 널리 사용되는 오픈소스 검색 라이브러리인 Lucene가 전용 벡터 스토어가 없이도 OpenAI 임bedding을 사용하여 벡터 검색을 효과적으로 지원할 수 있음을 보여준다. 저자들은 Lucene의 내장된 HNSW 색인 기능을 활용하여 MS MARCO에서 경쟁적인 검색 성능을 달성하였으며, 현대적인 AI 기반 검색 시스템에 전용 벡터 데이터베이스가 반드시 필요하다는 일반적인 믿음에 도전한다.

ABSTRACT

We provide a reproducible, end-to-end demonstration of vector search with OpenAI embeddings using Lucene on the popular MS MARCO passage ranking test collection. The main goal of our work is to challenge the prevailing narrative that a dedicated vector store is necessary to take advantage of recent advances in deep neural networks as applied to search. Quite the contrary, we show that hierarchical navigable small-world network (HNSW) indexes in Lucene are adequate to provide vector search capabilities in a standard bi-encoder architecture. This suggests that, from a simple cost-benefit analysis, there does not appear to be a compelling reason to introduce a dedicated vector store into a modern "AI stack" for search, since such applications have already received substantial investments in existing, widely deployed infrastructure.

연구 동기 및 목표

• 현대적인 AI 기반 검색 시스템에 전용 벡터 스토어가 필수적이라는 일반적인 견해에 도전한다.
• 기존의 Lucene 기반 검색 인fra구조가 HNSW 색인 기능을 통해 벡터 검색을 네이티브로 지원할 수 있음을 보여준다.
• Lucene가 이미 필요한 기능을 제공하므로, 새로운 벡터 스토어를 도입하는 데 드는 비용과 복잡성은 정당화되지 않는다.
• OpenAI API를 통한 임베딩 생성과 Lucene 내의 벡터 색인 및 검색 과정이 간단하고 재현 가능함을 보여준다.
• MS MARCO 파assage 랭킹 데이터셋을 사용하여 성능과 실행 가능성 검증이 가능한 완전히 재현 가능한 엔드 투 엔드 파이프라인을 제공한다.

제안 방법

• MS MARCO 데이터셋의 모든 파assage에 대해 OpenAI의 text-embedding-ada-002 모델을 사용하여 밀도 높은 벡터 표현을 생성한다.
• 효율적인 근사 최근접 이웃 검색을 위해 Lucene의 계층적 가시적 소형 세계(HNSW) 색인을 사용하여 생성된 임베딩을 색인화한다.
• 쿼리 임베딩과 색인화된 파assage 임베딩 간의 내적 유사도를 계산하여 검색을 수행한다.
• Lucene의 네이티브 벡터 검색 기능을 활용하여, 버전 9(2021년 12월)부터 사용 가능함을 고려하여 커스텀 구현을 피한다.
• Elasticsearch와 OpenSearch에서도 전체 파이프라인을 재현하여, 이 접근 방식이 Lucene 기반 시스템 간 이식 가능함을 확인한다.
• 모든 임베딩과 코드를 공개하여 재현 가능성을 확보하며, 사전 계산된 OpenAI 임베딩까지 포함한다.

실험 결과

연구 질문

• RQ1 Lucene의 HNSW 색인 기능은 전용 벡터 스토어 없이도 OpenAI의 밀도 높은 임베딩을 효과적으로 지원할 수 있는가?
• RQ2 표준 벤치마크에서 Lucene 기반 시스템의 검색 성능은 최신 기술 수준의 전용 벡터 데이터베이스와 비교해 어떻게 되는가?
• RQ3 기존 Lucene 기반 검색 인프라를 확장하는 것과 비교해 전용 벡터 스토어를 도입하는 데 드는 비용-편익 비용은 어떠한가?
• RQ4 임베딩 API와 Lucene의 네이티브 벡터 검색 기능을 통해 얼마나 많은 경우에 전용 벡터 데이터베이스 소프트웨어가 필요 없어질 수 있는가?
• RQ5 오픈소스 Lucene 컴포넌트와 표준 임베딩 API만을 사용하여 생산 환경용으로 사용 가능한 재현 가능한 벡터 검색 파이프라인을 구축하는 것이 가능한가?

주요 결과

• Lucene의 HNSW 색인은 밀도 높은 벡터에 대해 효과적인 근사 최근접 이웃 검색을 제공하며, MS MARCO 파assage 랭킹 벤치마크에서 경쟁적인 성능을 달성한다.
• 전용 벡터 스토어 없이도 OpenAI 임베딩을 사용하여 상당한 검색 효과성을 달성함을 입증하여, 고품질의 벡터 검색이 전용 스토어 없이도 가능함을 보여준다.
• Lucene의 벡터 검색 성능는 현재 Faiss와 같은 전용 시스템보다 느리지만, Lucene 생태계의 지속적인 투자로 인해 성능 격차는 점차 좁아질 것으로 예상된다.
• Elasticsearch와 OpenSearch와 같은 Lucene 기반 플랫폼에 벡터 검색 통합이 이미 진행 중이며, 공식 지원 및 프로덕션 수준의 기능이 출시되고 있다.
• pgvector는 PostgreSQL용 벡터 검색 확장 기능으로, 이는 기존 관계형 데이터베이스에 최소한의 오버헤드로 벡터 검색을 추가할 수 있음을 보여주는 유사한 저복잡도 대안을 나타낸다.
• 저자들은 다운로드 가능한 OpenAI 임베딩을 포함하여 완전히 재현 가능한 파이프라인을 제공하여, 다른 이들이 최소한의 설정으로 결과를 재현하고 확장할 수 있도록 한다.