[论文解读] Manu: A Cloud Native Vector Database Management System

Rentong Guo, Xiaofan Luan+13 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Database Systems and Queries被引用 4

一句话总结

Manu 是一个为大规模向量工作负载设计的云原生向量数据库管理系统，具备高可扩展性、可调一致性以及弹性性能。它通过基于日志的架构（使用预写日志和二进制日志）将写入与读取组件解耦，实现细粒度的组件扩展、低耦合性，并支持高效的多版本并发控制，从而在推荐和搜索等真实应用场景中提升可演化性与性能。

ABSTRACT

With the development of learning-based embedding models, embedding vectors are widely used for analyzing and searching unstructured data. As vector collections exceed billion-scale, fully managed and horizontally scalable vector databases are necessary. In the past three years, through interaction with our 1200+ industry users, we have sketched a vision for the features that next-generation vector databases should have, which include long-term evolvability, tunable consistency, good elasticity, and high performance. We present Manu, a cloud native vector database that implements these features. It is difficult to integrate all these features if we follow traditional DBMS design rules. As most vector data applications do not require complex data models and strong data consistency, our design philosophy is to relax the data model and consistency constraints in exchange for the aforementioned features. Specifically, Manu firstly exposes the write-ahead log (WAL) and binlog as backbone services. Secondly, write components are designed as log publishers while all read-only analytic and search components are designed as independent subscribers to the log services. Finally, we utilize multi-version concurrency control (MVCC) and a delta consistency model to simplify the communication and cooperation among the system components. These designs achieve a low coupling among the system components, which is essential for elasticity and evolution. We also extensively optimize Manu for performance and usability with hardware-aware implementations and support for complex search semantics.

研究动机与目标

• 为解决传统关系型数据库管理系统在处理大规模非结构化数据的现代向量数据库工作负载时的局限性。
• 为满足多样化应用需求，实现可调一致性与性能的权衡，超越仅强一致性或最终一致性的单一模式。
• 通过解耦向量数据库系统中的功能层与硬件层，实现细粒度弹性与组件级可扩展性。
• 通过硬件感知的实现方式和对复杂搜索语义的支持，优化性能与可用性。
• 通过模块化、以日志为中心的系统设计，支持云原生环境中的长期可演化性与故障隔离。

提出的方法

• 将预写日志（WAL）和二进制日志（binlog）作为核心服务暴露，提供时间语义并解耦组件。
• 设计写入组件为日志发布者，将只读分析/搜索组件作为独立的订阅者接入日志流。
• 采用多版本并发控制（MVCC）与增量一致性模型，简化组件间协调。
• 将向量搜索、索引构建与日志归档作为独立的功能组件解耦，实现独立扩展。
• 利用硬件感知优化提升性能，包括SIMD、缓存友好设计，以及对GPU/FPGA的支持。
• 实现模块化、可扩展的架构，允许协处理器（如主键或文本搜索）订阅日志流。

实验结果

研究问题

• RQ1 在云原生环境中，向量数据库如何在支持可调一致性的同时实现高弹性与可演化性？
• RQ2 哪些架构模式能够在不牺牲性能的前提下，实现向量数据库中写入与读取组件之间的低耦合？
• RQ3 基于日志的核心架构如何简化组件间通信并支持灵活的一致性模型？
• RQ4 在分布式系统中，针对大规模向量搜索与索引管理，哪些性能优化最为有效？
• RQ5 向量数据库系统如何通过组件解耦支持复杂搜索语义与异构工作负载？

主要发现

• Manu 通过解耦写入、搜索与索引构建等功能组件，实现独立扩展与演化，从而实现高可扩展性与弹性。
• 基于日志的架构结合MVCC与增量一致性模型，支持可调一致性，允许用户配置新插入数据的可见性延迟。
• 硬件感知优化（包括SIMD与缓存友好设计）显著提升了向量搜索与索引操作的性能。
• 通过可扩展的协处理器集成，系统支持复杂搜索工作负载，包括多向量搜索与混合（向量+属性）搜索。
• Manu 已成功在生产环境中部署于推荐、多媒体、自然语言处理、医疗与安全等多个应用场景。
• 系统在三个真实应用场景中展现出强劲的性能与可扩展性，验证了其设计目标。