[论文解读] Mixed-mode implementation of PETSc for scalable linear algebra on multi-core processors

Michèle Weiland, Lawrence Mitchell+4 more|arXiv (Cornell University)|May 9, 2012

Parallel Computing and Optimization Techniques参考文献 13被引用 5

一句话总结

本文提出了一种混合模式的 OpenMP/MPI 实现方式，用于 PETSc，通过结合共享内存多线程与分布式内存消息传递，以提升在多核处理器上的可扩展性。与纯 MPI 方式相比，该方法通过更好地利用多核并行性，提升了性能，在计算流体动力学（CFD）矩阵的基准测试中，混合模式版本表现出更高的效率和更短的求解时间。

ABSTRACT

With multi-core processors a ubiquitous building block of modern supercomputers, it is now past time to enable applications to embrace these developments in processor design. To achieve exascale performance, applications will need ways of exploiting the new levels of parallelism that are exposed in modern high-performance computers. A typical approach to this is to use shared-memory programming techniques to best exploit multi-core nodes along with inter-node message passing. In this paper, we describe the addition of OpenMP threaded functionality to the PETSc library. We highlight some issues that hinder good performance of threaded applications on modern processors and describe how to negate them. The OpenMP branch of PETSc was benchmarked using matrices extracted from Fluidity, a CFD application code, which uses the library as its linear solver engine. The overall performance of the mixed-mode implementation is shown to be superior to that of the pure-MPI version.

研究动机与目标

• 为应对现代多核超级计算机上对可扩展线性代数日益增长的需求。
• 在广泛使用的 HPC 库 PETSc 中实现高效的共享内存并行利用。
• 克服现代处理器上线程化应用程序的性能瓶颈。
• 在实际的 CFD 工作负载中，评估混合 OpenMP/MPI 实现方式与纯 MPI 版本的性能表现。

提出的方法

• 扩展 PETSc 以支持 OpenMP 多线程，实现多核节点内的共享内存并行。
• 将 OpenMP 与现有的基于 MPI 的节点间通信集成，形成混合编程模型。
• 优化内存访问和线程调度，以减少虚假共享并改善缓存局部性。
• 使用来自 Fluidity CFD 代码的矩阵作为真实场景的基准进行评估。
• 对混合模式实现进行性能剖析与调优，以缓解线程化 HPC 代码中常见的性能问题。
• 将 OpenMP 扩展的 PETSc 版本与原始的纯 MPI 版本进行性能对比。

实验结果

研究问题

• RQ1 与纯 MPI 相比，混合模式 OpenMP/MPI 实现的 PETSc 在多核架构上的性能如何提升？
• RQ2 在现代处理器上，线程化线性代数应用程序中会出现哪些性能瓶颈，又该如何缓解？
• RQ3 在实际的 CFD 工作负载中，该混合方法在多核节点间的可扩展性如何？
• RQ4 PETSc 的 OpenMP 扩展是否能在提升共享内存系统资源利用率的同时保持高性能？

主要发现

• 混合模式 PETSc 实现方式在多核系统上相比纯 MPI 版本表现出更优的性能。
• 在来自 Fluidity CFD 应用的矩阵上，OpenMP 扩展版本显著缩短了求解时间。
• 性能提升主要归因于对共享内存并行性的更好利用以及通信开销的降低。
• 该实现成功缓解了虚假共享和负载不均等常见线程问题。
• 混合方法在多核节点间展现出强大的可扩展性，同时保持了高效率。