[论文解读] Flexible, Scalable Mesh and Data Management using PETSc DMPlex

Michael Lange, Matthew G. Knepley+1 more|arXiv (Cornell University)|May 18, 2015

Distributed and Parallel Computing Systems参考文献 19被引用 6

一句话总结

本文提出将 PETSc 的 DMPlex 网格与数据管理 API 集成到 Fluidity CFD 应用中，以将网格局部输入、域分区和重排序等任务卸载至可扩展、可扩展的库层。该方法通过改进网格局部分布并原生支持多种文件格式及 RCM 重排序，减少了仿真启动时间，96 核环境下性能提升最高达 25%，主要得益于更好的缓存局部性和更低的通信开销。

ABSTRACT

Designing a scientific software stack to meet the needs of the next-generation of mesh-based simulation demands, not only scalable and efficient mesh and data management on a wide range of platforms, but also an abstraction layer that makes it useful for a wide range of application codes. Common utility tasks, such as file I/O, mesh distribution, and work partitioning, should be delegated to external libraries in order to promote code re-use, extensibility and software interoperability. In this paper we demonstrate the use of PETSc's DMPlex data management API to perform mesh input and domain partitioning in Fluidity, a large scale CFD application. We demonstrate that raising the level of abstraction adds new functionality to the application code, such as support for additional mesh file formats and mesh re- ordering, while improving simulation startup cost through more efficient mesh distribution. Moreover, the separation of concerns accomplished through this interface shifts critical performance and interoperability issues, such as scalable I/O and file format support, to a widely used and supported open source community library, improving the sustainability, performance, and functionality of Fluidity.

研究动机与目标

• 解决大规模 CFD 仿真中因初始化阶段网路输入和域分区效率低下导致的性能瓶颈。
• 通过将常见的网路与数据管理任务委派给共享且维护良好的库，提升互操作性与代码复用性。
• 通过高层抽象层支持高级网路优化（如重排序与动态负载均衡）。
• 通过将底层 I/O 与分发逻辑与核心仿真代码解耦，降低应用层复杂性。
• 通过继承 PETSc 生态系统的未来改进，提升长期可维护性与可扩展性。

提出的方法

• 将 PETSc 的 DMPlex API 作为域拓扑抽象层集成，通过分层的有向无环图（DAG）表示非结构化网格连接性。
• 用 DMPlex 原生支持的多种文件格式（包括 Exodus II、CGNS、Gmsh、Fluent Case 和 MED）替换 Fluidity 的自定义网路输入与分区流水线。
• 利用 DMPlex 的可扩展网路分发与数据迁移原语，在初始化阶段仅分发拓扑与坐标，而非完整场数据，从而减少通信量。
• 在运行时应用反向 Cuthill-McKee（RCM）重排序，以提升缓存局部性并减少线性系统组装的求解时间。
• 利用 PETSc 的基于 HDF5 的 I/O 堆栈实现高效并行文件访问，并为未来支持 Xdmf 输出格式提供基础。
• 在 Archer Cray XC30 系统上进行基准测试，使用 300 万个单元的网路，在 24–96 核范围内比较性能表现。

实验结果

研究问题

• RQ1 将 DMPlex 集成到 Fluidity 中是否能通过改进网路分布与 I/O 效率，显著减少仿真启动时间？
• RQ2 DMPlex 在不修改应用代码的前提下，能在多大程度上原生支持多种网路文件格式？
• RQ3 通过 DMPlex 实现的 RCM 重排序在大规模仿真中对求解器性能与整体仿真时间有何影响？
• RQ4 通过将网路管理与应用层解耦，并依赖共享优化库，可实现多大的性能提升？
• RQ5 DMPlex 提供的抽象是否能支持未来扩展性，如并行网路输入与网路自适应后的动态负载均衡？

主要发现

• 与原始预处理器方法相比，基于 DMPlex 的初始化工作流在 96 核环境下将启动开销减少了高达 25%，主要得益于更高效的网路分发。
• 性能提升在大规模场景下最为显著，随着进程数增加而增强，这是由于网路迁移期间通信量减少所致。
• RCM 重排序在小规模运行（最多 24 核）中提升了求解器与矩阵组装性能，但在大规模下优势减弱，原因在于置换生成的固定成本开销。
• 该集成在不修改 Fluidity 核心代码库的前提下，原生支持了五种额外的网路格式——Exodus II、CGNS、Gmsh、Fluent Case 和 MED。
• 职责分离使得 Fluidity 能够继承 PETSc 在 I/O 与分区堆栈方面的未来优化，从而提升长期可维护性与互操作性。
• 文件 I/O 的串行瓶颈已减少，但尚未完全消除，因为初始读取仍为性能限制因素，凸显未来需实现完全并行网路读取器的必要性。