[论文解读] Rubik: A Hierarchical Architecture for Efficient Graph Learning

Xiaobing Chen, Yuke Wang+10 more|arXiv (Cornell University)|Sep 26, 2020

Advanced Graph Neural Networks参考文献 48被引用 9

一句话总结

Rubik 提出了一种分层加速器架构，将图神经网络（GNN）中的图级计算与节点级计算解耦，通过轻量级图重排序和定制化缓存设计实现高效的硬件加速。该架构在多种 GCN 模型和数据集上相较 GPU 实现了 26.3x 至 1375.2x 的能效提升。

ABSTRACT

Graph convolutional network (GCN) emerges as a promising direction to learn the inductive representation in graph data commonly used in widespread applications, such as E-commerce, social networks, and knowledge graphs. However, learning from graphs is non-trivial because of its mixed computation model involving both graph analytics and neural network computing. To this end, we decompose the GCN learning into two hierarchical paradigms: graph-level and node-level computing. Such a hierarchical paradigm facilitates the software and hardware accelerations for GCN learning. We propose a lightweight graph reordering methodology, incorporated with a GCN accelerator architecture that equips a customized cache design to fully utilize the graph-level data reuse. We also propose a mapping methodology aware of data reuse and task-level parallelism to handle various graphs inputs effectively. Results show that Rubik accelerator design improves energy efficiency by 26.3x to 1375.2x than GPU platforms across different datasets and GCN models.

研究动机与目标

• 解决图卷积网络（GCNs）高效加速的挑战，其结合了不规则图分析与规则神经网络计算。
• 克服现有加速器（包括通用深度神经网络加速器和图专用加速器）在处理 GCN 的混合数据流与工作负载多样性方面的局限性。
• 将 GCN 计算分解为分层的图级与节点级范式，以支持针对性的软硬件优化。
• 通过引入一种轻量级图重排序技术，提升时间与空间局部性，改善数据重用并减少 GCN 训练中的内存访问开销。
• 设计一种考虑数据重用与任务级并行性的映射方法，以自适应地利用不同图输入与模型架构下的硬件资源。

提出的方法

• 将 GCN 推理与训练分解为两个独立的分层计算阶段：图级（用于聚合过程中的不规则、非欧几里得数据访问）与节点级（用于更新过程中的规则、密集张量操作）。
• 提出一种轻量级图重排序策略，通过重新组织节点顺序以最大化图级计算中的数据重用，尤其针对高阶节点与密集子图。
• 设计一种专用内存层次结构，包含支持 GCN 工作负载中不规则图数据访问与规则张量数据重用的专用缓存架构。
• 集成一种编程模型与任务映射策略，能够动态适应工作负载特性，根据特征维度与图拓扑结构平衡计算与内存访问。
• 实现一种空间架构，采用优化的数据流（如输入驻留或权重重驻留）以高效支持节点级计算中的 MAC 操作，同时保持对不规则图遍历的支持。
• 通过重排序增强的批处理与采样策略，提升训练过程中的收敛速度与内存效率。

实验结果

研究问题

• RQ1 如何设计统一的硬件加速器，以高效处理 GCN 中图分析与深度神经网络计算的混合工作负载？
• RQ2 轻量级图重排序在多大程度上能够提升 GCN 训练中的数据重用并减少内存访问开销？
• RQ3 通过解耦图级与节点级操作的分层计算模型，是否能够实现更好的硬件专业化与性能扩展？
• RQ4 在多种 GCN 模型与数据集上，该加速器相较于现有 DNN 与图加速器在能效与性能方面表现如何？
• RQ5 工作负载感知的任务映射对异构 GCN 工作负载中的硬件利用率与加速效率有何影响？

主要发现

• Rubik 在多个 GCN 模型与数据集上相较 GPU 平台实现了 26.3x 至 1375.2x 的更高能效，显著提升了性能与效率。
• 所提出的轻量级图重排序技术提升了图级计算中的时间数据重用，减少了内存访问开销并增强了缓存利用率。
• 分层架构实现了有效的硬件专业化：专用缓存设计优化了图级数据重用，而空间加速器则高效处理了节点级密集计算。
• 映射方法能有效适应工作负载多样性，在不同特征维度与拓扑结构的图之间实现计算与内存访问的平衡。
• 重排序后的图结构增强了批处理与采样策略的效果，提升了 GCN 训练过程中的收敛速度。
• 该加速器通过架构与算法协同设计，解决了 GCN 独特的混合数据流问题，优于通用 DNN 加速器与传统图加速器。