[论文解读] High-Order Discontinuous Galerkin Methods by GPU Metaprogramming

Andreas Klöckner, Tim Warburton+1 more|arXiv (Cornell University)|Nov 2, 2012

Numerical methods for differential equations被引用 1

一句话总结

本文提出了一种基于Python的运行时代码生成（RTCG）元编程框架，实现了高性能GPU离散Galerkin（DG）方法的计算，实现了高效、可移植且高度优化的内核生成。该方法在消费级GPU上实现了理论峰值性能的25%，在多项式阶数N=9时达到接近4 teraflops/s的性能，显著提升了大规模PDE模拟的可扩展性和计算效率。

ABSTRACT

Discontinuous Galerkin (DG) methods for the numerical solution of partial differential equations have enjoyed considerable success because they are both flexible and robust: They allow arbitrary unstructured geometries and easy control of accuracy without compromising simulation stability. In a recent publication, we have shown that DG methods also adapt readily to execution on modern, massively parallel graphics processors (GPUs). A number of qualities of the method contribute to this suitability, reaching from locality of reference, through regularity of access patterns, to high arithmetic intensity. In this article, we illuminate a few of the more practical aspects of bringing DG onto a GPU, including the use of a Python-based metaprogramming infrastructure that was created specifically to support DG, but has found many uses across all disciplines of computational science.

研究动机与目标

• 为解决在现代GPU架构上高效实现高阶不连续Galerkin（DG）方法的挑战。
• 降低编写高度优化的DG求解器GPU内核的复杂性，提升代码可维护性。
• 通过自动化代码生成，实现在多种硬件平台上的可移植、高性能DG模拟。
• 证明GPU加速的DG方法可实现接近峰值性能，使在普通硬件上进行大规模时域模拟成为可能。

提出的方法

• 利用基于Python的元编程基础设施，在运行时生成高度优化的CUDA内核，抽象底层GPU编程细节。
• 采用运行时代码生成（RTCG）技术，自动为不同多项式阶数N和单元类型生成逐单元内核，确保高算术强度和内存合并访问。
• 采用基于矩阵的DG公式，通过质量矩阵、刚度矩阵、微分矩阵和界面质量矩阵，以结构化、缓存友好的方式表达PDE的弱形式。
• 应用自动调优技术和内核融合，优化内存访问模式并减少GPU上的内核启动开销。
• 采用CPU-GPU混合工作流，其中元编程层负责生成内核，GPU执行生成的高性能内核。
• 使用MPI实现跨多个GPU的分布式内存并行计算，性能分析表明在更高多项式阶数下通信开销显著降低。

实验结果

研究问题

• RQ1 能否通过自动化代码生成技术，高效地将高阶不连续Galerkin方法移植到GPU架构上？
• RQ2 GPU加速的DG方法性能与理论峰值性能相比如何？其性能扩展受哪些因素影响？
• RQ3 元编程框架在DG求解器中对GPU内核的可维护性和可移植性提升程度如何？
• RQ4 在分布式GPU环境中，通信与计算比如何影响性能，特别是在不同多项式阶数下？
• RQ5 GPU-DG能否实现以往仅需大型超级计算机才能达到的性能水平，其成本如何？

主要发现

• 在16块Nvidia Tesla T10 GPU组成的集群上，当多项式阶数N=9时，GPU-DG实现达到理论峰值性能的25%，性能接近4 teraflops/s。
• 由于局部计算量随多项式阶数增加而提升，性能随阶数提高而呈有利扩展趋势，分布式环境下通信开销的相对影响降低。
• 在N=5时，代码仍可实现约2 teraflops/s的性能，表明在中等阶数下也具备强大性能。
• 基于Python的元编程框架可自动生成高度优化的CUDA内核，显著提升代码可维护性并降低开发复杂度。
• 在高阶下，该方法展现出更优的可并行性，因为体积分量计算的规模随N³增长，而面部分量通信规模随N²增长，从而实现更好的负载均衡并减少通信瓶颈。
• 该方法使以往仅限于大型超级计算机的模拟，能够在普通GPU集群上高效运行，显著提升了研究人员的可及性。