[论文解读] GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs

Yuke Wang, Boyuan Feng+5 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Graph Neural Networks被引用 16

一句话总结

GNNAdvisor 是一个 GPU 运行时系统，通过利用图结构和嵌入维度等实时输入特征，动态优化图神经网络（GNN）工作负载。它采用自适应二维工作负载管理、GPU 内存层次结构感知执行以及用于内核参数调优的分析模型，在 NeuGraph 等最先进框架之上实现最高达 4.10× 的加速，在 DGL 上实现平均 3.02× 的加速。

ABSTRACT

As the emerging trend of graph-based deep learning, Graph Neural Networks (GNNs) excel for their capability to generate high-quality node feature vectors (embeddings). However, the existing one-size-fits-all GNN implementations are insufficient to catch up with the evolving GNN architectures, the ever-increasing graph sizes, and the diverse node embedding dimensionalities. To this end, we propose extbf{GNNAdvisor}, an adaptive and efficient runtime system to accelerate various GNN workloads on GPU platforms. First, GNNAdvisor explores and identifies several performance-relevant features from both the GNN model and the input graph, and uses them as a new driving force for GNN acceleration. Second, GNNAdvisor implements a novel and highly-efficient 2D workload management, tailored for GNN computation to improve GPU utilization and performance under different application settings. Third, GNNAdvisor capitalizes on the GPU memory hierarchy for acceleration by gracefully coordinating the execution of GNNs according to the characteristics of the GPU memory structure and GNN workloads. Furthermore, to enable automatic runtime optimization, GNNAdvisor incorporates a lightweight analytical model for an effective design parameter search. Extensive experiments show that GNNAdvisor outperforms the state-of-the-art GNN computing frameworks, such as Deep Graph Library ($3.02 imes$ faster on average) and NeuGraph (up to $4.10 imes$ faster), on mainstream GNN architectures across various datasets.

研究动机与目标

• 为解决现有通用型 GNN 框架在 GPU 上的性能瓶颈，特别是在不同 GNN 架构和图工作负载下的表现局限。
• 通过暴露运行时特征（如节点度和嵌入大小）实现动态、输入感知的优化，以指导系统级决策。
• 通过创新的二维工作负载管理和 GPU 内存层次结构协调，提升 GPU 利用率并减少内存访问开销。
• 提供一种自动化、轻量级的分析模型，实现高效内核参数搜索，无需人工调优。
• 在不同 GPU、GNN 模型和图数据集上展示可扩展性和适应性。

提出的方法

• GNNAdvisor 在运行时从 GNN 模型（例如，层数、隐藏维度）和输入图（例如，节点度分布）中提取与性能相关的特征。
• 它实现了一种二维工作负载管理策略，基于邻居划分和线程束对齐，将 GNN 计算映射到 GPU 线程块，以最小化原子操作。
• 该系统采用线程束感知的共享内存定制，通过聚合数据访问模式来减少全局内存访问。
• 它集成了一个轻量级分析模型，基于输入特征预测最优内核参数（例如，线程块大小、邻居分组大小）。
• 该框架利用 PyTorch 作为前端以保证可编程性，同时将底层优化任务卸载到自定义运行时层。
• 它应用社区感知的节点重编号技术，以改善内存聚合，减少聚合阶段的不规则内存访问。

实验结果

研究问题

• RQ1 是否可以利用运行时输入特征（如节点度和嵌入维度）来指导系统级 GNN 优化？
• RQ2 如何设计 GPU 上的二维工作负载映射，以最小化原子操作并提升 GNN 中的线程束占用率？
• RQ3 GPU 内存层次结构感知在不规则 GNN 工作负载中能在多大程度上提升性能？
• RQ4 分析模型是否能有效预测在不同 GNN 架构和数据集上的最优内核参数？
• RQ5 GNNAdvisor 在不同 GPU 硬件平台（如 V100 和 P6000）上的可扩展性如何？

主要发现

• GNNAdvisor 在多个 GNN 模型和数据集上，相对于 Deep Graph Library (DGL) 实现了平均 3.02× 的加速。
• 在最具挑战性的 GNN 工作负载上，GNNAdvisor 相较于 NeuGraph 最高实现 4.10× 的加速，证明了其卓越的优化适应能力。
• 通过线程束对齐的线程映射和共享内存优化，系统平均将不规则内存访问减少了 47.85% 和 57.93%。
• 社区感知的节点重编号平均仅引入 4.00% 的开销，且可在多次 GNN 运行中分摊，因此在实际应用中具有可行性。
• 在 Tesla V100 上，GNNAdvisor 对 GCN 和 GIN 分别实现了相对于 P6000 的 1.97× 和 1.86× 加速，归因于对更高计算能力和内存带宽的更好利用。
• 分析模型在四种不同设置下（包括不同模型、数据集和 GPU）成功识别出最优内核参数，证实了其在自动化调优中的有效性。