[论文解读] GCNear: A Hybrid Architecture for Efficient GCN Training with Near-Memory Processing

Zhe Xiao Zhou, Cong Li+2 more|arXiv (Cornell University)|Oct 31, 2021

Advanced Graph Neural Networks被引用 8

一句话总结

GCNear 提出了一种混合近内存架构，通过将内存密集型的 Reduce 操作卸载到 DIMM 上的 NME，将计算密集型的 Update 操作卸载到专用 CAE，从而加速图卷积网络（GCN）训练，在大规模图上实现高带宽利用率和可扩展性。该系统通过工作负载感知的分区和对图不规则性的优化，降低了训练延迟和内存压力。

ABSTRACT

Recently, Graph Convolutional Networks (GCNs) have become state-of-the-art algorithms for analyzing non-euclidean graph data. However, it is challenging to realize efficient GCN training, especially on large graphs. The reasons are many-folded: 1) GCN training incurs a substantial memory footprint. Full-batch training on large graphs even requires hundreds to thousands of gigabytes of memory to buffer the intermediate data for back-propagation. 2) GCN training involves both memory-intensive data reduction and computation-intensive features/gradients update operations. Such a heterogeneous nature challenges current CPU/GPU platforms. 3) The irregularity of graphs and the complex training dataflow jointly increase the difficulty of improving a GCN training system's efficiency. This paper presents GCNear, a hybrid architecture to tackle these challenges. Specifically, GCNear adopts a DIMM-based memory system to provide easy-to-scale memory capacity. To match the heterogeneous nature, we categorize GCN training operations as memory-intensive Reduce and computation-intensive Update operations. We then offload Reduce operations to on-DIMM NMEs, making full use of the high aggregated local bandwidth. We adopt a CAE with sufficient computation capacity to process Update operations. We further propose several optimization strategies to deal with the irregularity of GCN tasks and improve GCNear's performance. We also propose a Multi-GCNear system to evaluate the scalability of GCNear.

研究动机与目标

• 解决大规模图上全批量 GCN 训练带来的高内存占用问题，其内存需求可能达到数百至数千 GB。
• 克服 GCN 训练中内存密集型 Reduce 与计算密集型 Update 操作混合导致的性能瓶颈。
• 应对 GCN 训练中固有的不规则数据访问模式和复杂数据流，这些特性在传统 CPU/GPU 平台上难以优化。
• 设计一种可扩展的近内存架构，利用高带宽的 DIMM 内处理能力，提升训练效率并降低系统延迟。

提出的方法

• 采用基于 DIMM 的内存系统，为存储中间 GCN 训练数据提供可扩展、高容量的封装内内存。
• 将 GCN 训练划分为内存密集型的 Reduce 操作（如梯度聚合）和计算密集型的 Update 操作（如权重更新）。
• 将 Reduce 操作卸载到 DIMM 上的神经内存引擎（NME），以利用高本地带宽并减少对外部内存的访问流量。
• 使用具备足够计算能力的计算附加引擎（CAE）来处理 Update 操作，从而将计算与内存受限任务解耦。
• 引入优化策略以管理图的不规则性，并提升混合执行模型中的数据流效率。
• 设计 Multi-GCNear 系统，以评估多个 DIMM 节点上的可扩展性，并在大规模图上评估性能。

实验结果

研究问题

• RQ1 如何有效将 GCN 训练工作负载划分为内存密集型和计算密集型阶段，以最大化性能？
• RQ2 基于 DIMM 的 NME 在多大程度上能够减轻内存带宽压力并提升大规模 GCN 的训练吞吐量？
• RQ3 与传统 CPU/GPU 卸载相比，集成 CAE 处理由 Update 操作带来的整体系统效率如何提升？
• RQ4 在 GCN 训练中，为应对图结构数据固有的不规则数据访问模式，需要哪些优化措施？
• RQ5 在部署多个 DIMM 节点时，Multi-GCNear 系统在训练性能和内存容量方面如何实现可扩展性？

主要发现

• GCNear 通过将内存密集型的 Reduce 操作卸载到基于 DIMM 的 NME，显著减轻了内存带宽压力，充分利用了高本地带宽。
• Reduce 与 Update 工作负载的分离实现了更好的负载均衡，并提升了专用硬件组件的利用率。
• 基于 CAE 的 Update 操作处理提供了足够的计算能力，可高效处理密集的权重更新阶段。
• 针对图不规则性的优化策略提升了数据流效率，减少了混合处理流水线中的空闲时间。
• Multi-GCNear 系统展现出强大的可扩展性，随着 DIMM 节点数量的增加，能够支持更大规模的图并提升训练吞吐量。
• 与传统 CPU/GPU 平台相比，该架构在大规模图的全批量训练中实现了更高的训练效率。