[논문 리뷰] When Large Language Models Meet Vector Databases: A Survey

Zhi Jing, Yongye Su외 6명|arXiv (Cornell University)|2024. 01. 30.

Topic Modeling인용 수 13

한 줄 요약

본 설문조사는 Vector Databases (VecDBs)가 retrieval-augmented generation 및 메모리를 가능하게 하여 LLM의 한계(환각, 지식의 구식화, 비용)를 어떻게 해결할 수 있는지 분석하고, 현재 기술과 향후 방향을 조사한다.

ABSTRACT

This survey explores the synergistic potential of Large Language Models (LLMs) and Vector Databases (VecDBs), a burgeoning but rapidly evolving research area. With the proliferation of LLMs comes a host of challenges, including hallucinations, outdated knowledge, prohibitive commercial application costs, and memory issues. VecDBs emerge as a compelling solution to these issues by offering an efficient means to store, retrieve, and manage the high-dimensional vector representations intrinsic to LLM operations. Through this nuanced review, we delineate the foundational principles of LLMs and VecDBs and critically analyze their integration's impact on enhancing LLM functionalities. This discourse extends into a discussion on the speculative future developments in this domain, aiming to catalyze further research into optimizing the confluence of LLMs and VecDBs for advanced data handling and knowledge extraction capabilities.

연구 동기 및 목표

• LLMs와 VecDBs를 결합하는 동기를 설명하여 환각, 기억 한계 및 비용 장벽을 극복하는 방법.
• LLMs와 VecDBs의 기초 원칙과 이들의 통합이 LLM 기능을 어떻게 향상시키는지 조사한다.
• retrieval-augmented generation (RAG) 패러다임과 실용적 응용을 요약한다.
• 다중 모달성, 데이터 관리 및 확장성에 대한 도전 과제와 향후 방향을 논의한다.

제안 방법

• LLMs와 벡터 데이터베이스의 개발과 도전을 검토한다.
• 벡터 검색 기술과 HNSW와 같은 ANN 인덱스의 역할을 설명한다.
• VecDBs가 RAG에서 LLM의 외부 지식 기반, 시맨틱 캐시 및 메모리 역할을 하는 방법을 설명한다.

실험 결과

연구 질문

• RQ1 VecDBs가 LLMs의 환각 및 지식의 구식화를 어떻게 완화할 수 있는가?
• RQ2 LLMs의 외부 지식 기반 및 기억으로 VecDBs를 사용하는 이점과 한계는 무엇인가?
• RQ3 VecDBs를 활용하여 LLM 성능 및 비용 효율성을 향상시키는 실용적 아키텍처(예: RAG)와 최적화는 무엇인가?
• RQ4 LLM+VecDB 솔루션의 다중 모달성, 데이터 전처리 및 시스템 통합에서의 주요 도전 과제는 무엇인가?

주요 결과

• VecDBs는 LLMs를 위한 확장 가능한 외부 메모리를 제공하여 효율적인 검색 및 데이터 관리를 가능하게 한다.
• RAG with VecDBs는 환각을 완화하고 자주 재훈련 없이 도메인 특화 지식을 지원할 수 있다.
• VecDBs는 비용 효율적인 시맨틱 캐시 역할을 하여 LLM 애플리케이션의 API 호출 및 대기 시간을 감소시킨다.
• VecDBs는 쿼리 응답을 위한 최신 벡터를 유지함으로써 LLM의 망각 문제를 겪는 메모리 계층을 제공한다.
• 본 조사는 RAG 시스템을 향상시키는 다중 모달 확장 및 검색 최적화에 대해 논의한다.
• 하이브리드 검색 통합, 다중 테넌시, 데이터 차원/처리 문제를 포함한 여러 도전 과제가 식별된다.