[论文解读] Compact Data Structures Meet Databases (Invited Talk)

Domagoj Vrgoč, Carlos Rojas+8 more|arXiv (Cornell University)|Nov 2, 2021

Graph Theory and Algorithms参考文献 26被引用 3

一句话总结

MillenniumDB 是一个持久的、开源的图数据库引擎，基于一种新颖的领域图数据模型，通过边 ID 和可选的注释支持多种图模型（例如 RDF、属性图）。它结合了关系型数据库技术与最先进的一流最优连接算法和自动机引导的路径查询算法，在真实世界的 Wikidata 工作负载上，性能优于 Neo4j 和 Blazegraph 等领先系统。

ABSTRACT

In this systems paper, we present MillenniumDB: a novel graph database engine that is modular, persistent, and open source. MillenniumDB is based on a graph data model, which we call domain graphs, that provides a simple abstraction upon which a variety of popular graph models can be supported. The engine itself is founded on a combination of tried and tested techniques from relational data management, state-of-the-art algorithms for worst-case-optimal joins, as well as graph-specific algorithms for evaluating path queries. In this paper, we present the main design principles underlying MillenniumDB, describing the abstract graph model and query semantics supported, the concrete data model and query syntax implemented, as well as the storage, indexing, query planning and query evaluation techniques used. We evaluate MillenniumDB over real-world data and queries from the Wikidata knowledge graph, where we find that it outperforms other popular persistent graph database engines (including both enterprise and open source alternatives) that support similar query features.

研究动机与目标

• 为解决缺乏将最先进的理论技术与实际性能及可扩展性相结合的开源图数据库的问题。
• 将多种图模型（如 RDF 和属性图）统一在一个通用的抽象——领域图之下。
• 设计一个模块化、可扩展且理论基础坚实的图数据库系统，支持路径查询和任意图元素上的连接等高级查询功能。
• 使研究人员和实践者能够在生产就绪的开源环境中扩展和实验新型算法。

提出的方法

• 提出领域图作为正式的数据模型，通过引入边 ID 扩展有向标签图，原生表示高阶关系而无需重言化。
• 引入一种受 Cypher 启发但增强的新型查询语法，支持对边 ID 的显式引用以及对任意图元素（节点、边、标签）的连接操作。
• 采用混合存储与查询执行引擎，结合传统关系型数据库技术（B+ 树、缓冲管理器）与前沿的最坏情况最优连接处理算法（跳跃技巧）和路径查询评估算法（自动机引导）。
• 采用模块化架构，解耦存储、索引、查询优化和执行等组件，以支持可扩展性和重用。
• 在图元素上支持可选的外部注释，以提升与属性图模型的兼容性，同时保持核心领域图抽象的完整性。
• 采用缓冲管理器高效管理主内存访问，减少 I/O 操作，确保在大规模数据集上的一致性能。

实验结果

研究问题

• RQ1 能否设计一种统一的图数据模型，原生支持 RDF 和属性图模型，同时实现高效的查询处理？
• RQ2 如何利用边 ID 表示高阶关系，而无需重言化或预留词汇表？
• RQ3 能否将最先进的最坏情况最优连接算法和路径查询算法有效集成到一个持久的、开源的数据库引擎中？
• RQ4 将经典的关系型数据库技术与现代算法进步相结合，在真实世界图工作负载上能在多大程度上提升性能？
• RQ5 模块化、开源的图数据库系统能否在保持可扩展性以支持研究创新的同时，实现与企业级系统相当的性能？

主要发现

• 在来自 Wikidata 知识图谱的真实查询中，MillenniumDB 的性能优于 Neo4j、Blazegraph、Jena 和 Virtuoso 等领先系统。
• 在 Wikidata Complete 基准测试中，MillenniumDB 在数据集规模扩大时未出现性能下降，表明其具备出色的可扩展性。
• 在大量复杂查询中，系统平均查询执行时间为每条 13.4 秒（排除超时后为 8 秒）。
• 在超过 1,000 条查询中仅有 15 条超时，且所有超时均发生在返回 80 万至 4400 万条结果的查询中，表明其对大规模结果集具有强大的处理能力。
• 查询引擎在不同类型查询中均表现出一致的性能，包括单个、多个和复杂 BGP 模式，以及属性路径查询。
• 最坏情况最优连接算法（跳跃技巧）与自动机引导路径评估的集成显著推动了性能提升。