[论文解读] ForestClaw: Hybrid forest-of-octrees AMR for hyperbolic conservation laws

Carsten Burstedde, Donna Calhoun+2 more|arXiv (Cornell University)|Aug 7, 2013

Computational Fluid Dynamics and AerodynamicsEngineering参考文献 17被引用 18

一句话总结

ForestClaw 引入了一种混合式森林树结构自适应网格加密（AMR）框架，将 p4est 的可扩展树状 AMR 与 Clawpack 的基于块的守恒律求解器相结合。通过将每个 AMR 叶子视为具有 $m^d$ 自由度的均匀计算块，该框架实现了在最多 16,384 个 CPU 核心上高性能、负载均衡的模拟，大规模并行效率达到 82%。

ABSTRACT

We present a new hybrid paradigm for parallel adaptive mesh refinement (AMR) that combines the scalability and lightweight architecture of tree-based AMR with the computational efficiency of patch-based solvers for hyperbolic conservation laws. The key idea is to interpret each leaf of the AMR hierarchy as one uniform compute patch in $\sR^d$ with $m^d$ degrees of freedom, where $m$ is customarily between 8 and 32. Thus, computation on each patch can be optimized for speed, while we inherit the flexibility of adaptive meshes. In our work we choose to integrate with the p4est AMR library since it allows us to compose the mesh from multiple mapped octrees and enables the cubed sphere and other nontrivial multiblock geometries. We describe aspects of the parallel implementation and close with scalings for both MPI-only and OpenMP/MPI hybrid runs, where the largest MPI run executes on 16,384 CPU cores.

研究动机与目标

• 开发一种可扩展、高性能的双曲守恒律 AMR 框架，结合树状 AMR 的灵活性与基于块求解器的高效性。
• 通过在模块化、可组合的设计中集成 MPI 和 OpenMP 线程模型，实现在现代多核架构上的高效并行计算。
• 利用 p4est 的块结构网格组合能力，支持复杂多块几何结构（如立方球面）。
• 通过优化邻居块交换模式和块边界上的共享单元管理，最小化 AMR 中的通信开销。
• 在大规模 HPC 系统上实现高并行效率和强可扩展性，包括在混合 MPI/OpenMP 执行模式下支持最多 16,384 个 CPU 核心。

提出的方法

• 将每个 p4est 树状八叉树叶子映射为 $\mathbb{R}^d$ 中的一个计算块，具有 $m^d$ 自由度，从而实现每个块的优化内核性能。
• 使用 p4est 作为底层 AMR 基础设施，以最小元数据开销管理网格加密、粗化和并行分区。
• 与 Clawpack/Manyclaw 集成，利用每个块上的波传播算法进行时间推进，保持数值精度与稳定性。
• 实现混合 MPI+OpenMP 并行模型，每个 MPI 进程管理本地块，并使用 OpenMP 线程在每个块内实现节点内并行。
• 通过常数时间查找接口，将 p4est 的邻居块连接信息传播至 ForestClaw，实现跨复杂块边界的高效共享单元交换。
• 利用 p4est 的并行算法强制执行跨层级的 2:1 加密平衡条件，以保持网格一致性并避免非局部加密伪影。

实验结果

研究问题

• RQ1 混合式森林树结构 AMR 框架能否通过结合树状网格管理与基于块的求解器，实现双曲守恒律的高可扩展性与高性能？
• RQ2 基于块的求解方法在 AMR 叶子上的性能与传统基于单元的有限体积方法相比，在计算效率和并行可扩展性方面有何差异？
• RQ3 在大规模模拟中，自适应网格加密结合子循环对整体模拟运行时间与负载均衡有何影响？
• RQ4 在具有复杂块连接关系的多块非均匀 AMR 环境中，如何高效优化共享单元交换？
• RQ5 p4est 与 Clawpack 的集成在多大程度上能够支持复杂几何结构（如立方球面）的同时保持高并行效率？

主要发现

• 纯 MPI 最大规模运行在 16,384 个 CPU 核心上达到 82% 的并行效率，表明在 4,096 核心以内具有 96% 的强弱可扩展性。
• 采用子循环的自适应网格加密使总运行时间相比均匀加密网格最多减少 50 倍，运行时间从 P=16 时的 252 秒降至 P=256 时的 17.3 秒。
• 在最多 4,096 核心的弱可扩展运行中，共享块交换时间占比不足 16%，表明通信开销可控。
• 在 16 至 256 个 MPI 进程间，每步时间推进实现线性缩放，步长时间从 1.115 秒降至 0.092 秒，证实了良好的负载均衡。
• 混合 MPI+OpenMP 模型在 16,384 个核心上实现了强可扩展性，效率达 82%，球面对流算例显示了各分区间前缘的稳定对齐。
• 通过 p4est 的并行算法强制执行 2:1 平衡条件，防止了非局部加密效应，确保了跨层级的网格一致性。