[论文解读] EmptyHeaded: Boolean Algebra Based Graph Processing

Christopher R. Aberger, Andres Nötzli+2 more|arXiv (Cornell University)|Mar 9, 2015

Graph Theory and Algorithms参考文献 53被引用 15

一句话总结

EmptyHeaded 是一种图模式引擎，将查询编译为布尔代数操作——主要是集合交集——利用 SIMD 并行性加速图模式匹配。通过针对数据倾斜优化集合交集算法，其性能比专用图引擎快达 10 倍，比关系型系统快 100 倍，展示了图处理的一种新型高效范式。

ABSTRACT

We present a graph pattern engine, EmptyHeaded, that uses recent algorithmic advances in join processing to compile patterns into Boolean algebra operations that exploit SIMD parallelism. The EmptyHeaded engine demonstrates that treating graph patterns as a general join processing problem can compete with and often outperform both specialized approaches and existing OLAP systems on graph queries. The core Boolean algebra operation performed in EmptyHeaded is set intersection. Extracting SIMD parallelism during set intersections on graph data is challenging because graph data can be skewed in several dierent ways. Our contributions are a demonstration of this new type of engine with Boolean algebra at its core, an exploration of set intersection representations and algorithms for set intersections that are optimized for skew. We demonstrate that EmptyHeaded outperforms specialized graph engines by over an order of magnitude and relational systems by over two orders of magnitude. Our results suggest that this new style of engine is a promising new direction for future graph engines and accelerators.

研究动机与目标

• 探索是否可以使用布尔代数将图模式匹配有效建模为广义连接处理问题。
• 解决在 SIMD 优化的集合交集中图工作负载中数据倾斜的挑战。
• 设计并实现一种利用底层并行性和布尔运算的图引擎，以实现高性能查询执行。
• 评估基于布尔代数的引擎是否能够超越专用图引擎和传统 OLAP 系统。

提出的方法

• 将图模式查询编译为布尔代数表达式，主要依赖集合交集作为核心操作。
• 通过将集合表示为位图，并在交集过程中执行并行位级操作，利用 SIMD 并行性。
• 设计专门的数据表示和算法，以缓解因图数据分布不均导致的性能下降。
• 在集合交集中应用算法优化，以在数据分布不均的情况下仍保持高吞吐量。
• 与现有硬件加速功能集成，以在现代处理器上最大化吞吐量。
• 将图模式匹配视为广义等值连接问题，从而可编译为高效的布尔操作。

实验结果

研究问题

• RQ1 图模式查询能否被有效编译为利用 SIMD 并行性的布尔代数操作？
• RQ2 如何优化集合交集操作，使其在处理具有倾斜特征的图数据时仍能保持高性能？
• RQ3 基于布尔代数的引擎在多大程度上能够超越专用图引擎和关系型 OLAP 系统？
• RQ4 在具有数据倾斜的真实图工作负载下，此类引擎的性能特征如何？

主要发现

• EmptyHeaded 在图查询工作负载上相比专用图引擎性能提升超过一个数量级。
• 该系统在传统关系型 OLAP 系统上实现了超过两个数量级的性能提升。
• 通过使用 SIMD 优化的集合交集，即使在数据倾斜情况下也能实现高吞吐量，这得益于量身定制的算法表示。
• 结果验证了将图模式视为使用布尔代数操作的广义连接问题，是一种可行且高性能的替代现有方法。
• 性能提升归因于对底层并行性的高效利用和优化的集合交集算法。
• 研究表明，这种新型引擎架构是未来图处理系统和硬件加速器的有前景方向。