[논문 리뷰] Manu: A Cloud Native Vector Database Management System

Rentong Guo, Xiaofan Luan외 13명|arXiv (Cornell University)|2022. 06. 28.

Advanced Database Systems and Queries인용 수 4

한 줄 요약

Manu는 대규모 벡터 워크로드에서 높은 확장성, 조정 가능한 일致성, 탄력적인 성능을 위해 설계된 클라우드 네이티브 벡터 데이터베이스 관리 시스템입니다. Manu는 쓰기 및 읽기 컴포넌트를 쓰기 전 로그(WAL)와 바이너리 로그(binlog)를 기반으로 한 아키텍처를 통해 분리하여, 세분화된 컴포넌트 스케일링, 낮은 결합도, 효율적인 다중 버전 동시성 제어를 가능하게 하여 실제 응용 프로그램(예: 추천 및 검색)에서의 진화 가능성과 성능 향상을 향상시킵니다.

ABSTRACT

With the development of learning-based embedding models, embedding vectors are widely used for analyzing and searching unstructured data. As vector collections exceed billion-scale, fully managed and horizontally scalable vector databases are necessary. In the past three years, through interaction with our 1200+ industry users, we have sketched a vision for the features that next-generation vector databases should have, which include long-term evolvability, tunable consistency, good elasticity, and high performance. We present Manu, a cloud native vector database that implements these features. It is difficult to integrate all these features if we follow traditional DBMS design rules. As most vector data applications do not require complex data models and strong data consistency, our design philosophy is to relax the data model and consistency constraints in exchange for the aforementioned features. Specifically, Manu firstly exposes the write-ahead log (WAL) and binlog as backbone services. Secondly, write components are designed as log publishers while all read-only analytic and search components are designed as independent subscribers to the log services. Finally, we utilize multi-version concurrency control (MVCC) and a delta consistency model to simplify the communication and cooperation among the system components. These designs achieve a low coupling among the system components, which is essential for elasticity and evolution. We also extensively optimize Manu for performance and usability with hardware-aware implementations and support for complex search semantics.

연구 동기 및 목표

• 현대의 대규모 비정형 데이터 워크로드를 처리하는 데 있어 전통적인 관계형 DBMS 아키텍처의 한계를 해결하기 위해.
• 강한 일치성 또는 최종 일치성 외의 다양한 응용 요구사항을 충족시키기 위해 조정 가능한 일치성 및 성능 트레이드오프를 가능하게 하기 위해.
• 벡터 데이터베이스 시스템에서 기능 계층과 하드웨어 계층을 분리함으로써 세분화된 탄력성과 컴포넌트 수준의 확장성을 달성하기 위해.
• 하드웨어 인식 구현 및 복잡한 검색 의미 체계 지원을 통해 성능과 사용성 최적화를 위해.
• 모듈러하고 로그 중심의 시스템 설계를 통해 클라우드 네이티브 환경에서 장기적인 진화 가능성과 장애 격리 기능을 지원하기 위해.

제안 방법

• 쓰기 전 로그(WAL)와 바이너리 로그(binlog)를 핵심 서비스로 노출하여 시간적 의미 체계를 제공하고 컴포넌트를 분리합니다.
• 쓰기 컴포넌트를 로그 발행자로, 읽기 전용 분석/검색 컴포넌트를 로그 스트림의 독립적인 구독자로 설계합니다.
• 다중 버전 동시성 제어(MVCC)와 델타 일치 모델을 활용하여 컴포넌트 간 조율을 단순화합니다.
• 벡터 검색, 인덱스 구축, 로그 아카이빙을 별도의 기능 컴포넌트로 분리하여 독립적인 확장성을 달성합니다.
• SIMD, 캐시 효율성, GPU/FPGA 지원 등을 포함한 하드웨어 인식 최적화를 활용하여 성능을 향상시킵니다.
• 모듈러하고 확장 가능한 아키텍처를 구현하여, 주 키나 텍스트 검색 등의 공처리기(co-processor)가 로그 스트림을 구독할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 클라우드 네이티브 환경에서 조정 가능한 일치성을 지원하면서도 고탄력성과 진화 가능성을 확보할 수 있는 벡터 데이터베이스 아키텍처는 어떻게 설계할 수 있는가?
• RQ2 성능을 희생시키지 않고도 쓰기 및 읽기 컴포넌트 간의 낮은 결합도를 달성하기 위한 아키텍처 패턴은 무엇인가?
• RQ3 로깅 기반의 핵심 아키텍처는 컴포넌트 간 통신을 어떻게 단순화하고, 다양한 일치성 모델을 유연하게 지원할 수 있는가?
• RQ4 분산 시스템에서 대규모 벡터 검색 및 인덱스 관리에 가장 효과적인 성능 최적화 기법은 무엇인가?
• RQ5 컴포넌트 분리 기반으로 복잡한 검색 의미 체계와 이질적인 워크로드를 지원할 수 있는 벡터 데이터베이스 아키텍처는 어떻게 설계할 수 있는가?

주요 결과

• Manu는 쓰기, 검색, 인덱스 구축 등의 기능 컴포넌트를 분리함으로써 고확장성과 고탄력성을 달성하여 독립적인 확장과 진화를 가능하게 합니다.
• MVCC와 델타 일치 모델을 활용한 로그 기반 아키텍처는 조정 가능한 일치성을 지원하여, 사용자가 새로 삽입된 데이터의 가시성 지연 시간을 구성할 수 있도록 합니다.
• SIMD 및 캐시 인식 설계를 포함한 하드웨어 인식 최적화 기법은 벡터 검색 및 인덱스 운영의 성능을 크게 향상시킵니다.
• 확장 가능한 공처리기 통합을 통해 다중 벡터 검색 및 하이브리드(벡터 + 속성) 검색과 같은 복잡한 검색 워크로드를 지원합니다.
• Manu는 추천, 멀티미디어, 언어 처리, 의료, 보안 등 다양한 응용 분야에서 생산 환경에 성공적으로 도입되었습니다.
• 시스템은 세 가지 실제 응용 시나리오에서 강력한 성능과 확장성을 입증하여 설계 목표를 검증했습니다.