[論文レビュー] Manu: A Cloud Native Vector Database Management System

Rentong Guo, Xiaofan Luan+13 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Database Systems and Queries被引用数 4

ひとこと要約

Manu は、大規模なベクタワークロードにおける高スケーラビリティ、調整可能な一貫性、および弾力性のあるパフォーマンスを実現するためのクラウドネイティブなベクターデータベース管理システムである。Manu は、WAL（Write-Ahead Log）とバイナリログ（binlog）を用いたログバックアーキテクチャにより、書き込みと読み取りのコンponentを分離し、細粒度のスケーリング、低結合性、効率的なマルチバージョン並行制御を実現することで、実世界の応用（推薦や検索など）における進化可能性とパフォーマンスの向上を図っている。

ABSTRACT

With the development of learning-based embedding models, embedding vectors are widely used for analyzing and searching unstructured data. As vector collections exceed billion-scale, fully managed and horizontally scalable vector databases are necessary. In the past three years, through interaction with our 1200+ industry users, we have sketched a vision for the features that next-generation vector databases should have, which include long-term evolvability, tunable consistency, good elasticity, and high performance. We present Manu, a cloud native vector database that implements these features. It is difficult to integrate all these features if we follow traditional DBMS design rules. As most vector data applications do not require complex data models and strong data consistency, our design philosophy is to relax the data model and consistency constraints in exchange for the aforementioned features. Specifically, Manu firstly exposes the write-ahead log (WAL) and binlog as backbone services. Secondly, write components are designed as log publishers while all read-only analytic and search components are designed as independent subscribers to the log services. Finally, we utilize multi-version concurrency control (MVCC) and a delta consistency model to simplify the communication and cooperation among the system components. These designs achieve a low coupling among the system components, which is essential for elasticity and evolution. We also extensively optimize Manu for performance and usability with hardware-aware implementations and support for complex search semantics.

研究の動機と目的

• 現代のベクターデータベースワークロード、特に大規模かつ非構造化データを扱う際、従来のリレーショナルDBMS設計の限界を克服すること。
• 強い一貫性や最終的の一貫性にとどまらず、多様なアプリケーション要件に応じた調整可能な一貫性とパフォーマンスのトレードオフを可能にすること。
• ベクターデータベースシステムにおける機能的レイヤーとハードウェアレイヤーを分離することで、細粒度のエラスティシティとコンponentレベルのスケーリングを実現すること。
• ハードウェアに配慮した実装と複雑な検索セマンティクスのサポートを通じて、パフォーマンスと使いやすさを最適化すること。
• モジュラーかつログ中心のアーキテクチャ設計により、クラウドネイティブ環境における長期的な進化可能性と障害の隔離を実現すること。

提案手法

• WAL（Write-Ahead Log）とbinlogをバックボーンサービスとして公開し、時間的意味（time semantics）を提供するとともにコンponent間の分離を実現すること。
• 書き込みコンponentをログプロデューサー、読み取り専用の分析／検索コンponentをログストリームの独立したサブスクライバーとして設計すること。
• マルチバージョン並行制御（MVCC）とデルタ一貫性モデルを採用し、コンponent間の調整を簡素化すること。
• ベクターサーチ、インデックス構築、ログアーカイブを独立した機能コンponentとして分離し、個別にスケーリング可能にすること。
• SIMD、キャッシュ効率、GPU/FPGAのサポートを含むハードウェアに配慮した最適化を活用してパフォーマンスを向上させること。
• 拡張性に優れたモジュラーなアーキテクチャを実装し、主キー検索やテキスト検索などのコプロセッサがログストリームにサブスクライブできるようにすること。

実験結果

リサーチクエスチョン

• RQ1 クラウドネイティブ環境において、調整可能な一貫性をサポートしながら、高いエラスティシティと進化可能性を実現するには、どのようにベクターデータベースを設計すべきか？
• RQ2 パフォーマンスを損なわずに、ベクターデータベースにおける書き込みコンponentと読み取りコンponentの間で、どのようにして低結合性を実現できるか？
• RQ3 ログベースのバックボーンアーキテクチャは、コンponent間の通信をどのように簡素化し、柔軟な一貫性モデルを可能にするか？
• RQ4 分散システムにおける大規模なベクターサーチおよびインデックス管理において、最も効果的なパフォーマンス最適化は何か？
• RQ5 コンponentの分離を通じて、どのようにしてベクターデータベースシステムが複雑な検索セマンティクスと多様なワークロードをサポートできるか？

主な発見

• Manu は、書き込み、検索、インデックス構築といった機能コンponentを分離することで、独立したスケーリングと進化を可能にし、高いスケーラビリティとエラスティシティを達成している。
• MVCC とデルタ一貫性モデルを備えたログバックアーキテクチャにより、調整可能な一貫性が実現され、新規に挿入されたデータの可視化遅延をユーザーが設定可能である。
• SIMD やキャッシュに配慮した設計を含むハードウェアに配慮した最適化により、ベクターサーチおよびインデックス操作のパフォーマンスが顕著に向上している。
• 拡張可能なコプロセッサ統合により、マルチベクター検索やハイブリッド（ベクター＋属性）検索を含む複雑な検索ワークロードをサポートしている。
• Manu は、推薦、マルチメディア、自然言語処理、医療、セキュリティなど、多様なアプリケーションで生産環境での運用に成功している。
• 本システムは、3つの実世界のアプリケーションシナリオにおいて、設計目標を裏付ける強力なパフォーマンスとスケーラビリティを示している。