[论文解读] Ginkgo: A Modern Linear Operator Algebra Framework for High Performance Computing

Hartwig Anzt, Terry Cojean+7 more|arXiv (Cornell University)|Jun 30, 2020

Distributed and Parallel Computing Systems被引用 11

一句话总结

Ginkgo 是一个面向高性能计算的现代 C++ 线性算子代数框架，将所有线性代数操作抽象为可组合的线性算子，从而实现跨 GPU 和多核架构的性能可移植性。它通过硬件特定的内核优化和模块化、可扩展的设计，在 NVIDIA V100 和 AMD Radeon VII 系统上实现了与当前先进水平相当的 SpMV 和 Krylov 求解器性能。

ABSTRACT

In this paper, we present Ginkgo, a modern C++ math library for scientific high performance computing. While classical linear algebra libraries act on matrix and vector objects, Ginkgo's design principle abstracts all functionality as "linear operators", motivating the notation of a "linear operator algebra library". Ginkgo's current focus is oriented towards providing sparse linear algebra functionality for high performance GPU architectures, but given the library design, this focus can be easily extended to accommodate other algorithms and hardware architectures. We introduce this sophisticated software architecture that separates core algorithms from architecture-specific back ends and provide details on extensibility and sustainability measures. We also demonstrate Ginkgo's usability by providing examples on how to use its functionality inside the MFEM and deal.ii finite element ecosystems. Finally, we offer a practical demonstration of Ginkgo's high performance on state-of-the-art GPU architectures.

研究动机与目标

• 为满足现代多核加速器（如 GPU）对高性能稀疏线性代数库日益增长的需求。
• 设计一种软件框架，将数值算法与硬件特定内核分离，以确保正确性、性能可移植性和可扩展性。
• 通过线性算子抽象提供用户友好且可组合的接口，用于求解器、预条件子和矩阵运算。
• 通过严格的测试、持续集成和基准测试，确保软件开发的可持续性。
• 实现与 MFEM 和 deal.ii 等主要科学计算生态系统的无缝集成。

提出的方法

• 将所有线性代数功能抽象为“线性算子”，统一接口以支持求解器、预条件子、矩阵-向量乘积和重排序操作。
• 采用插件式设计，将核心算法与架构特定的后端解耦，支持 CUDA、HIP 和 OpenMP 的性能优化内核。
• 使用智能指针和内存传递装饰器，实现跨设备的安全细粒度内存管理。
• 通过执行器抽象实现对 CPU 和 GPU 等异构硬件的透明执行。
• 集成持续基准测试和自动化测试，以确保代码质量和长期可持续性。
• 支持高级预条件技术，如 ParILUT（基于阈值的 ILU）和自动精度自适应的块-雅可比预条件子。

实验结果

研究问题

• RQ1 线性代数库如何在多种 GPU 和多核架构上实现高性能和可移植性？
• RQ2 统一的线性算子抽象能否在保持性能的同时，简化求解器和预条件子的实现与组合？
• RQ3 Ginkgo 将算法与硬件后端分离的设计对正确性、可维护性和可扩展性有何影响？
• RQ4 在现代 GPU 架构上，Ginkgo 相较于现有库（如 cuSPARSE）能带来多大性能提升？
• RQ5 Ginkgo 在多大程度上可集成到 MFEM 和 deal.ii 等现有有限元软件栈中？

主要发现

• Ginkgo 在 NVIDIA V100 和 AMD Radeon VII GPU 上实现了高性能，其 SpMV 内核在 V100 上的复制操作最高达到 790.475 GB/s，在 Radeon VII 上达到 841.669 GB/s。
• Radeon VII 在复制操作上比 V100 快 6%，但在点积操作上慢 25%，可能由于独立线程调度能力有限，影响了 Krylov 求解器的性能。
• Ginkgo 的 ParILUT 预条件子显著加速了各向异性流问题的 GMRES 收敛速度，在两代 NVIDIA GPU 上均优于标准 cuSPARSE ILU。
• Ginkgo 中的块-雅可比预条件子通过根据条件数和指数范围自动调整精度，减少了内存访问时间，性能优于固定精度的替代方案。
• Ginkgo 通过批量可变大小内核高度优化了对角块求逆的高斯-约旦消去法，实现了 GPU 上高效预条件子生成。
• 该库的设计使得其能够无缝集成到 MFEM 和 deal.ii 中，证明了其在真实世界有限元应用中的可用性。