[论文解读] GraphChi-DB: Simple Design for a Scalable Graph Database System -- on Just a PC

Aapo Kyrola, Carlos Guestrin|arXiv (Cornell University)|Mar 4, 2014

Graph Theory and Algorithms参考文献 27被引用 17

一句话总结

GraphChi-DB 引入了一种新颖的基于磁盘的图存储结构——分区邻接表（PAL），使得在单台 PC 上实现高效、可扩展的图数据库操作成为可能。通过结合磁盘高效的存储方式、基于 LSM-tree 的插入机制，以及对入边/出边访问和属性的支持，该系统在十亿条边的图上实现了最先进的性能表现，相较于 Neo4j 等系统在大规模、内存外工作负载中表现更优，同时支持分析计算与高吞吐量插入。

ABSTRACT

We propose a new data structure, Parallel Adjacency Lists (PAL), for efficiently managing graphs with billions of edges on disk. The PAL structure is based on the graph storage model of GraphChi (Kyrola et. al., OSDI 2012), but we extend it to enable online database features such as queries and fast insertions. In addition, we extend the model with edge and vertex attributes. Compared to previous data structures, PAL can store graphs more compactly while allowing fast access to both the incoming and the outgoing edges of a vertex, without duplicating data. Based on PAL, we design a graph database management system, GraphChi-DB, which can also execute powerful analytical graph computation. We evaluate our design experimentally and demonstrate that GraphChi-DB achieves state-of-the-art performance on graphs that are much larger than the available memory. GraphChi-DB enables anyone with just a laptop or a PC to work with extremely large graphs.

研究动机与目标

• 设计一种轻量级、基于磁盘的图存储系统，无需集群规模基础设施即可支持高效查询与高吞吐量插入。
• 解决现有图数据库和存储模型在处理超出主内存容量的超大规模图时的局限性。
• 通过统一的数据结构在单节点系统上同时支持在线事务处理（OLTP）和分析处理（OLAP）工作负载。
• 证明在消费级硬件（如笔记本电脑或 PC）上实现高性能图分析与数据库操作是可行的。
• 提供一种灵活、可扩展的系统，支持边与顶点属性、快速的入边/出边遍历，以及通过 LSM-tree 适配实现的高效插入。

提出的方法

• 核心数据结构——分区邻接表（PAL）——将图边组织为分区的、不可变的扁平数组，从而实现对入边和出边的快速随机访问，且无需数据冗余。
• PAL 通过将属性与邻接数据一同存储，支持任意顶点和边属性，避免了对单独索引或连接操作的需求。
• 系统采用 LSM-tree 的变体实现高插入吞吐量——在标准 SSD 上每秒可插入数十万条边。
• GraphChi-DB 集成了 GraphChi 中的并行滑动窗口（PSW）算法，实现高效的基于磁盘的分析计算，支持全局图算法的原地执行。
• 设计利用内存映射文件和内存中的索引实现快速访问，即使在低端硬件上，整个索引结构也能容纳在主内存中。
• 该系统可调优：分区大小、缓冲区大小和 LSM-tree 配置等参数可根据需求调整，以优化读密集型或写密集型工作负载。

实验结果

研究问题

• RQ1 单节点系统能否通过简单紧凑的存储模型高效管理超出主内存容量的十亿条边图？
• RQ2 在基于磁盘的图数据库中，如何在不牺牲性能或数据完整性的情况下，同时实现快速查询访问与高吞吐量插入？
• RQ3 统一的数据结构能否高效支持 OLTP 风格查询与 OLAP 风格分析计算？
• RQ4 像 PAL 这样简单且不可变的数据结构，在大规模、内存外图上相较于 Neo4j 等复杂且依赖索引的系统，性能优势有多大？
• RQ5 LSM-tree 的适配在图数据库上下文中实现高插入性能方面效果如何？

主要发现

• 在大规模、内存外图工作负载中，GraphChi-DB 在十亿条边图上的复杂查询与遍历任务中优于 Neo4j。
• 通过 LSM-tree 适配，系统在标准笔记本电脑上实现了每秒数十万条边的高插入性能，且无需批量处理。
• 与传统图数据库相比，PAL 数据结构减少了磁盘存储开销，使得在消费级 SSD 上存储超大规模图成为可能。
• GraphChi-DB 中的所有索引均可容纳在主内存中，显著减少了随机磁盘 I/O，提升了查询性能。
• 系统同时支持分析计算（通过 PSW 算法）与在线事务处理，且在合理调优后性能下降极小。
• 该设计具有高度灵活性，可针对不同工作负载进行调优：在作为 OLAP 数据仓库时表现优异，或在高写入吞吐量的 OLTP 系统中也具备竞争力。