[論文レビュー] Vector Search with OpenAI Embeddings: Lucene Is All You Need

Jimmy Lin, Ronak Pradeep+2 more|arXiv (Cornell University)|Aug 29, 2023

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

この論文は、広く採用されているオープンソースの検索ライブラリであるLuceneが、専用のベクターストアを必要とせずにOpenAIの埋め込み表現を用いてベクタ検索を効果的に行えることを示している。著者たちはLuceneの組み込みHNSWインデクシングを利用することで、MS MARCOで競争力ある検索パフォーマンスを達成し、現代のAI駆動型検索システムにおいて専用のベクターデータベースが不可欠であるという一般的な認識に挑戦している。

ABSTRACT

We provide a reproducible, end-to-end demonstration of vector search with OpenAI embeddings using Lucene on the popular MS MARCO passage ranking test collection. The main goal of our work is to challenge the prevailing narrative that a dedicated vector store is necessary to take advantage of recent advances in deep neural networks as applied to search. Quite the contrary, we show that hierarchical navigable small-world network (HNSW) indexes in Lucene are adequate to provide vector search capabilities in a standard bi-encoder architecture. This suggests that, from a simple cost-benefit analysis, there does not appear to be a compelling reason to introduce a dedicated vector store into a modern "AI stack" for search, since such applications have already received substantial investments in existing, widely deployed infrastructure.

研究の動機と目的

• 専用のベクターデータベースが現代のAI駆動型検索システムにおいて不可欠であるという一般的な認識に反論すること。
• 既存のLuceneベースの検索インfraが、HNSWインデクシングを用いてネイティブにベクタ検索をサポートできることを示すこと。
• Luceneがすでに必要な機能を備えている以上、新たなベクターストアを導入するコストと複雑さは正当化されないという主張をすること。
• OpenAI APIを用いた埋め込み表現の生成と、Luceneにおけるベクタインデクシング／検索が、簡単かつ再現可能であることを示すこと。
• MS MARCOのパassageランクイングデータセットを用いて、パフォーマンスと実現可能性を検証できる完全に再現可能なエンドツーエンドのパイプラインを提供すること。

提案手法

• MS MARCOデータセットに含まれるすべてのパassageに対して、OpenAIのtext-embedding-ada-002モデルを用いて密度ベクトル表現を生成する。
• 効率的な近似最近傍検索を実現するため、Luceneの階層的ナビゲーション可能な小さな世界（HNSW）インデックスを用いて生成された埋め込み表現をインデックス化する。
• クエリの埋め込み表現とインデックス化されたパassageの埋め込み表現との間でドット積類似度を計算して検索を実行する。
• Luceneがバージョン9（2021年12月）以降からネイティブにベクタ検索をサポートしていることを利用し、カスタム実装を回避する。
• ElasticsearchおよびOpenSearchにおいても同パイプラインを再現し、このアプローチがLuceneベースのシステム間で移植可能であることを確認する。
• すべての埋め込み表現とコードを公開し、再現可能性を確保する。これには事前計算済みのOpenAI埋め込みも含まれる。

実験結果

リサーチクエスチョン

• RQ1 LuceneのHNSWインデクシング機能は、専用のベクターストアを必要とせずに、OpenAIの密度ベクトル表現を用いたベクタ検索を効果的にサポートできるか？
• RQ2 標準ベンチマークにおいて、Luceneベースのシステムの検索パフォーマンスは、最先端のベクターデータベースと比べてどの程度か？
• RQ3 既存のLuceneベースの検索インfraを拡張するのと比較して、専用のベクターストアを導入する際のコスト対効果のトレードオフはいかなるものか？
• RQ4 埋め込みAPIとLuceneのネイティブなベクタ検索機能を組み合わせることで、特定のベクターデータベースソフトウェアの必要性をどの程度低減できるか？
• RQ5 オープンソースのLuceneコンponentsと標準の埋め込みAPIのみを用いて、生産環境向けで再現可能なベクタ検索パイプラインを構築するのは可能か？

主な発見

• LuceneのHNSWインデクシングは、密度ベクトルに対して効果的な近似最近傍検索を提供し、MS MARCOのパassageランクイングベンチマークで競争力あるパフォーマンスを達成した。
• OpenAIの埋め込み表現を用いたシステムは、専用のベクターストアがなくても、高品質なベクタ検索が可能であることを示している。
• Luceneのベクタ検索パフォーマンスは、Faissのような専用システムに比べて現在は遅いが、Luceneエコシステムにおける継続的な投資のおかげで、性能の差は縮小すると予想される。
• Elasticsearch や OpenSearch といったLuceneベースのプラットフォームへのベクタ検索統合はすでに進行中であり、公式サポートと生産環境対応の機能が順次リリースされている。
• pgvector（PostgreSQL用のベクタ検索拡張機能）は、同様に低コストの代替手段を示しており、既存のリレーショナルデータベースにベクタ検索を最小限のオーバーヘッドで追加できることを示している。
• 著者たちは、ダウンロード可能なOpenAI埋め込みを含む完全に再現可能なパイプラインを提供しており、他の研究者が最小限の設定で結果を再現・拡張できるようになっている。