[论文解读] Nebula Graph: An open source distributed graph database

Min Wu, Xinglu Yi+3 more|arXiv (Cornell University)|Jun 15, 2022

Graph Theory and Algorithms被引用 4

一句话总结

Nebula Graph 是一个开源的、分布式、可扩展的原生图数据库，专为处理包含数千亿个顶点和数万亿条边的图数据而设计，适用于高性能 OLTP 工作负载。它采用存储与计算分离的架构，使用 Raft 协议实现高可用性，支持类似 SQL 的查询语言（nGQL 和 openCypher），并通过优化的分区、索引和查询执行机制实现毫秒级延迟，其性能已在生产环境的大规模基准测试中得到验证。

ABSTRACT

This paper introduces the recent work of Nebula Graph, an open-source, distributed, scalable, and native graph database. We present a system design trade-off and a comprehensive overview of Nebula Graph internals, including graph data models, partitioning strategies, secondary indexes, optimizer rules, storage-side transactions, graph query languages, observability, graph processing frameworks, and visualization tool-kits. In addition, three sets of large-scale graph b

研究动机与目标

• 设计并实现一个高性能、可扩展且原生分布式的图数据库，能够处理包含数万亿条边的超大规模图数据。
• 解决传统 RDBMS 和单体图数据库在大规模处理复杂、高度连接的数据时的局限性。
• 通过存储与计算分离、自动分片和强一致性机制，实现在大规模图上的实时 OLTP 工作负载。
• 支持行业标准查询语言（nGQL 和 openCypher），并提供对 ETL、图处理和可视化功能的可扩展性支持。
• 通过在真实工作负载和大规模生产部署上的基准测试，确保系统具备生产级的可靠性与性能。

提出的方法

• 将 Nebula Core 架构设计为包含三个独立服务的分布式系统：Meta Service（元数据与集群管理）、Storage Service（使用 Raft 的持久化一致性数据存储）和 Graph Service（无状态查询执行）。
• 采用属性图模型，通过图空间实现数据隔离，顶点具有唯一 VIDs，标签用于标记，边具有类型和优先级，属性使用键值对形式，类型类似 SQL。
• 采用键值存储抽象来管理图数据，按 VIDs 范围对顶点和边进行分区，以支持水平扩展和高效分片。
• 在属性上实现二级索引，以支持快速点查询和范围扫描，并使用混合执行引擎优化复杂遍历的查询计划。
• 在 Storage Service 中使用 Raft 共识协议，确保跨副本的强一致性和高可用性。
• 支持两种声明式查询语言：nGQL（Nebula 原生）和 openCypher，配备查询优化器，可为 OLTP 工作负载生成高效执行计划。

实验结果

研究问题

• RQ1 如何在保持毫秒级响应延迟的前提下，使分布式图数据库高效扩展至包含数亿个顶点和数万亿条边的图？
• RQ2 何种系统架构与分区策略能够支持分布式图数据库中高吞吐量和低延迟的 OLTP 操作？
• RQ3 原生图数据库如何同时支持类似 SQL 的查询语言（nGQL 和 openCypher）和高效的属性查询二级索引？
• RQ4 通过在真实工作负载上的基准测试，生产级分布式图数据库能够实现怎样的性能与可扩展性保证？
• RQ5 如何扩展图数据库以支持 ETL 流程、图处理和云原生存储，同时最小化架构改造？

主要发现

• Nebula Graph 已成功扩展至最多 100 台服务器的集群，数据量超过 100TB，证明其具备企业级工作负载的生产就绪能力。
• 系统对复杂图查询（包括路径查找、邻域遍历和子图查找）实现了毫秒级响应延迟。
• 存储与计算分离的架构支持水平扩展和高吞吐量，Graph Service 通过多线程无状态执行支持并发查询。
• 基于 Raft 的复制机制确保了强一致性和高可用性，节点故障时可自动进行领导者选举和故障转移。
• 基准测试结果表明，系统在多种工作负载下均表现出高性能，包括 OLTP、图模式匹配和基于属性的查询，验证了其设计选择的正确性。
• 该系统已被沃尔玛、腾讯、华为和美团等大型企业投入生产使用，证实了其在真实场景下的可扩展性与可靠性。