[论文解读] Graph Analytics using the Vertica Relational Database

Alekh Jindal, Samuel Madden+2 more|arXiv (Cornell University)|Dec 17, 2014

Graph Theory and Algorithms参考文献 9被引用 6

一句话总结

本文展示了Vertica——一种列式关系型数据库——通过将图算法表达为涉及表扫描、连接和聚合的SQL查询，能够高效执行图分析，其性能可与Giraph和GraphLab等专用顶点中心系统相媲美。结果表明，关系型数据库，尤其是列存数据库，非常适合处理迭代性和复杂的图工作负载，同时支持与关系操作的无缝集成，并继承ACID特性。

ABSTRACT

Graph analytics is becoming increasingly popular, with a deluge of new systems for graph analytics having been proposed in the past few years. These systems often start from the assumption that a new storage or query processing system is needed, in spite of graph data being often collected and stored in a relational database in the first place. In this paper, we study Vertica relational database as a platform for graph analytics. We show that vertex-centric graph analysis can be translated to SQL queries, typically involving table scans and joins, and that modern column-oriented databases are very well suited to running such queries. Specifically, we present an experimental evaluation of the Vertica relational database system on a variety of graph analytics, including iterative analysis, a combination of graph and relational analyses, and more complex 1- hop neighborhood graph analytics, showing that it is competitive to two popular vertex-centric graph analytics systems, namely Giraph and GraphLab.

研究动机与目标

• 评估类似Vertica的关系型数据库是否能在不将数据移至专用图系统的情况下，高效支持图分析。
• 研究复杂图分析（包括迭代计算和1跳邻域计算）是否能有效表达并优化为SQL。
• 在标准图工作负载上，将Vertica与专用顶点中心图系统（Giraph、GraphLab）的性能进行比较。
• 探索在单一系统中结合图操作与关系操作的优势，避免昂贵的数据移动和系统协调。
• 评估是否可以利用RDBMS特性（如查询优化、ACID合规性及可扩展性）实现可扩展的图处理，且不牺牲性能。

提出的方法

• 通过在节点表和边表上使用表扫描、自连接和聚合操作，将顶点中心图算法转换为SQL查询。
• 利用Vertica的列式存储、压缩及基于排序的物理优化，加速图分析中常见的全表扫描和多连接操作。
• 使用表UDF（用户自定义函数）通过管理内存和数据布局，减少迭代图算法中的磁盘I/O，提升性能。
• 利用Vertica的查询优化器生成流水线式、基于成本的物理执行计划，避免中间结果的物化。
• 使用多连接SQL查询表达复杂图模式（如三角形计数和弱连接检测），相比顶点中心的消息传递模型更自然且高效。
• 在多种图工作负载（包括PageRank、最短路径、三角形计数和邻域分析）上进行端到端性能基准测试。

实验结果

研究问题

• RQ1 类似Vertica的关系型数据库系统是否能在性能上与Giraph和GraphLab等专用顶点中心图处理系统相媲美？
• RQ2 复杂图分析（尤其是涉及1跳邻域或多顶点关系的分析）在多大程度上能有效表达为SQL？
• RQ3 在单一系统中结合图操作与关系操作，与使用独立系统相比，如何提升性能和可用性？
• RQ4 列式存储和查询优化在RDBMS中加速图分析工作负载方面发挥何种作用？
• RQ5 能否在不牺牲性能的前提下，利用RDBMS特性（如ACID合规性、容错能力和事务支持）实现图处理？

主要发现

• Vertica在多种图分析工作负载（包括PageRank和最短路径等迭代算法）上实现了与Giraph和GraphLab相当的端到端性能。
• Vertica中列式存储的性能优势在图分析中常见的全表扫描和多连接操作（如通过三路自连接实现的三角形计数）中尤为显著。
• 使用SQL表达1跳邻域分析（如弱连接检测）比顶点中心模型更高效且更易实现，后者需多轮超步和消息传递。
• 使用表UDF通过改善内存管理和数据布局控制，减少了迭代查询中的磁盘I/O，提升了性能。
• Vertica的查询优化器自动选择高效、流水线化的执行计划，避免了中间结果的物化，其性能优于Giraph等系统中的静态执行计划。
• 在单一系统中集成关系操作与图操作，消除了数据移动开销，实现了无缝的预处理和后处理，如按时间戳过滤边或聚合结果。