[论文解读] GraphIt: A High-Performance DSL for Graph Analytics

Yunming Zhang, Mengjiao Yang+4 more|arXiv (Cornell University)|May 2, 2018

Graph Theory and Algorithms参考文献 48被引用 10

一句话总结

GraphIt 是一种高性能的图分析领域特定语言（DSL），它将算法规范与性能优化调度分离，使程序员能够探索局部性、并行性和工作效率之间的复杂权衡。在32项实验中的24项上，其性能优于六种最先进的共享内存框架，最高提升达4.8倍，且代码规模减少了一个数量级。

ABSTRACT

The performance bottlenecks of graph applications depend not only on the algorithm and the underlying hardware, but also on the size and structure of the input graph. Programmers must try different combinations of a large set of techniques to develop the best implementation for a specific algorithm and type of graph. Existing graph frameworks lack flexibility, supporting only a limited set of optimizations. This paper introduces GraphIt, a new DSL for graph computations that generates fast implementations for algorithms with different performance characteristics running on graphs with different sizes and structures. GraphIt separates what is computed (algorithm) from how it is computed (schedule). Programmers specify the algorithm using an algorithm language, and performance optimizations are specified using a scheduling language. The algorithm language simplifies expressing the algorithms. We formulate graph optimizations, including edge traversal direction, data layout, parallelization, cache, NUMA, and kernel fusion optimizations, as tradeoffs among locality, parallelism, and work-efficiency. The scheduling language enables programmers to easily search through this complicated tradeoff space by composing together optimizations. We also built an autotuner to automatically find high-performance schedules. The compiler uses a new scheduling representation, the graph iteration space, to model, compose, and ensure the validity of the large number of optimizations. GraphIt outperforms the next fastest of six state-of-the-art shared-memory frameworks (Ligra, Green-Marl, GraphMat, Galois, Gemini, and Grazelle) on 24 out of 32 experiments by up to 4.8$ imes$, and is never more than 43% slower than the fastest framework on the other experiments. GraphIt also reduces the lines of code by up to an order of magnitude compared to the next fastest framework.

研究动机与目标

• 解决由于算法瓶颈差异、硬件特性及图结构变化导致的图分析高性能难题。
• 克服现有图框架和DSL仅支持有限优化集合且性能调优灵活性不足的局限性。
• 通过可组合的调度语言，使程序员能够系统性地探索包括边遍历方向、数据布局和并行化在内的多种性能优化权衡。
• 通过将算法逻辑与底层优化选择解耦，降低编写高性能图代码的复杂度。
• 提供自动调优器，自动发现高性能调度配置，最大限度减少手动调优工作量。

提出的方法

• 使用两种不同的语言将算法规范与调度分离：一种用于表达图逻辑的算法语言，一种用于性能优化的调度语言。
• 将优化建模为局部性、并行性和工作效率之间的权衡，包括边遍历方向、顶点数据布局、缓存和NUMA感知，以及内核融合。
• 提出一种新型编译器表示形式——图迭代空间，用于建模、组合和验证复杂的优化序列。
• 通过允许程序员链接多个调度指令，实现优化的组合，从而探索多样化的性能权衡。
• 集成自动调优器，自动搜索调度空间，为给定算法和输入图找到高性能配置。
• 使用先进的代码生成和编译技术，从高级GraphIt程序生成高度优化的C++代码。

实验结果

研究问题

• RQ1 如何通过DSL有效解耦算法逻辑与性能优化，以支持对优化空间的灵活探索？
• RQ2 哪些优化集合——如遍历方向、数据布局和并行化——可以系统性地组合，以在多种图类型中实现高性能？
• RQ3 基于编译器的自动调优方法是否能在各种工作负载下超越手写调优的共享内存图框架？
• RQ4 统一的DSL在保持或超越专用框架性能的同时，能在多大程度上减少代码复杂度？
• RQ5 图迭代空间表示如何支持复杂图算法中正确且可组合的优化序列？

主要发现

• 在32项基准实验中的24项上，GraphIt优于六种最先进的共享内存框架（Ligra、Green-Marl、GraphMat、Galois、Gemini和Grazelle），最高提速达4.8倍。
• 在其余8项实验中，GraphIt的性能从未比最快框架慢超过43%，表明其在各种工作负载下均保持了稳定的竞争力。
• 与第二快的框架相比，GraphIt实现图算法所需的代码行数最多可减少一个数量级，显著提升了开发效率。
• GraphIt的自动调优组件无需专家调优即可成功识别高性能调度，证明了在优化空间中自动探索的有效性。
• 算法与调度的分离支持可扩展且可组合的优化，图迭代空间表示确保了复杂优化组合过程中的正确性。
• GraphIt的调度语言使程序员能够表达和组合大量低层级优化，如边遍历方向和内核融合，这些优化在通用语言或现有DSL中通常难以管理。