[论文解读] A Massive Data Parallel Computational Framework for Petascale/Exascale Hybrid Computer Systems

Marek Błażewicz, Steven R. Brandt+6 more|arXiv (Cornell University)|Jan 10, 2012

Advanced Data Storage Technologies参考文献 1被引用 5

一句话总结

本文提出 CaCUDA，一种集成于 Cactus HPC 生态系统的新型 MPI-CUDA 计算框架，可在百亿亿次/千百亿亿次级混合 CPU-GPU 系统上实现高效的数据并行科学计算。通过自动管理 GPU 内存并重叠计算与数据传输，该框架在单个 GPU 节点上的性能达到 58 GFlop/s，较独立 CUDA 实现高出 34%（43.5 GFlop/s），展现出优异的可扩展性和在复杂 CFD 模拟中的可用性。

ABSTRACT

Heterogeneous systems are becoming more common on High Performance Computing (HPC) systems. Even using tools like CUDA and OpenCL it is a non-trivial task to obtain optimal performance on the GPU. Approaches to simplifying this task include Merge (a library based framework for heterogeneous multi-core systems), Zippy (a framework for parallel execution of codes on multiple GPUs), BSGP (a new programming language for general purpose computation on the GPU) and CUDA-lite (an enhancement to CUDA that transforms code based on annotations). In addition, efforts are underway to improve compiler tools for automatic parallelization and optimization of affine loop nests for GPUs and for automatic translation of OpenMP parallelized codes to CUDA. In this paper we present an alternative approach: a new computational framework for the development of massively data parallel scientific codes applications suitable for use on such petascale/exascale hybrid systems built upon the highly scalable Cactus framework. As the first non-trivial demonstration of its usefulness, we successfully developed a new 3D CFD code that achieves improved performance.

研究动机与目标

• 解决在混合 CPU-GPU 系统上大规模科学应用实现最优 GPU 性能的复杂性。
• 通过抽象低层次 GPU 编程复杂性，简化数据并行科学代码的开发。
• 在不修改其核心的前提下，实现 GPU 加速在可扩展 Cactus 计算框架中的无缝集成。
• 通过高性能 3D 不可压缩 CFD 应用，验证框架的有效性。
• 通过自动化的数据分发和异步内存传输，在百亿亿次级 GPU 集群上实现高可扩展性和高性能。

提出的方法

• 在 Cactus 框架中新增一个名为 CaCUDA 的 thorn，用于管理混合 CPU-GPU 系统上的 GPU 执行与数据移动。
• 使用 MPI 实现节点间通信，使用 CUDA 实现节点内 GPU 加速，支持跨分布式 GPU 的数据并行执行。
• 自动生成内核函数模板，并管理 CPU 与 GPU 内存空间之间的数据传输。
• 采用异步内存传输和并发执行，将计算与数据移动重叠，减少空闲时间。
• 采用鬼细胞机制实现进程间通信，其鬼细胞区域大小可根据数值模板进行配置。
• 采用方法线法结合 Runge-Kutta 时间积分与有限差分空间离散化，求解 3D 不可压缩 Navier-Stokes 方程。

实验结果

研究问题

• RQ1 通用计算框架如何简化在混合 CPU-GPU 架构上开发数据并行科学应用？
• RQ2 将 GPU 加速集成到 Cactus 等成熟 HPC 框架中，可实现多大的性能提升？
• RQ3 CaCUDA 框架在管理复杂数据移动的同时，能否在多个 GPU 节点上保持高可扩展性和高效性？
• RQ4 与手工编写的 CUDA 实现相比，该框架的自动内核模板生成与数据管理在性能和开发效率方面表现如何？
• RQ5 该框架在多大程度上能够支持复杂、基于模板的数值方法（如计算流体动力学中的方法）？

主要发现

• CaCUDA 框架在单个 GPU 节点上达到 58 GFlop/s 的性能，相比独立 CUDA 实现（43.5 GFlop/s）提升了 34%。
• 框架展现出强可扩展性，在 6 个 GPU 节点的集群测试环境中，速度提升随节点数线性增加。
• 使用 CaCUDA 开发的 3D 不可压缩 CFD 代码与 Ghia 等人的基准结果高度一致，验证了其数值准确性。
• 框架成功实现了 CUDA 内核模板的自动生成，显著降低了开发人员负担并提升了代码可维护性。
• 异步数据传输与计算重叠的使用显著减少了通信瓶颈，提升了整体效率。
• CaCUDA 集成到 Cactus 中无需修改其核心框架，保持了向后兼容性和可扩展性。