[论文解读] ForestClaw: A parallel algorithm for patch-based adaptive mesh refinement on a forest of quadtrees

Donna Calhoun, Carsten Burstedde|arXiv (Cornell University)|Mar 9, 2017

Computational Fluid Dynamics and Aerodynamics参考文献 24被引用 5

一句话总结

ForestClaw 是一个并行的、基于块的自适应网格加密（AMR）框架，利用 p4est 库管理的非重叠四叉树森林，实现对时间依赖的双曲型PDE的可扩展、多块模拟。它在最多64,000个MPI进程下实现了强可扩展性和弱可扩展性，且重划分网格的开销可忽略不计，通过高效的通信机制实现幽灵单元数据交换，并与Clawpack求解器集成，用于在映射网格和复杂几何体（包括立方球面）上实现有限体积格式。

ABSTRACT

We describe a parallel, adaptive, multi-block algorithm for explicit integration of time dependent partial differential equations on two-dimensional Cartesian grids. The grid layout we consider consists of a nested hierarchy of fixed size, non-overlapping, logically Cartesian grids stored as leaves in a quadtree. Dynamic grid refinement and parallel partitioning of the grids is done through the use of the highly scalable quadtree/octree library p4est. Because our concept is multi-block, we are able to easily solve on a variety of geometries including the cubed sphere. In this paper, we pay special attention to providing details of the parallel ghost-filling algorithm needed to ensure that both corner and edge ghost regions around each grid hold valid values. We have implemented this algorithm in the ForestClaw code using single-grid solvers from ClawPack, a software package for solving hyperbolic PDEs using finite volumes methods. We show weak and strong scalability results for scalar advection problems on two-dimensional manifold domains on 1 to 64Ki MPI processes, demonstrating neglible regridding overhead.

研究动机与目标

• 开发一种可扩展的并行 AMR 框架，用于在复杂几何体上使用四叉树森林网格布局求解双曲型PDE。
• 将网格管理与求解器逻辑解耦，支持可复用的成熟求解器和网格算法。
• 确保在并行多块环境中，跨网格界面（包括角落和边缘区域）的幽灵单元通信准确且高效。
• 在大规模系统上对平面和曲面域均实现高并行可扩展性与低重划分网格开销。
• 通过稳健的多块基础设施，支持在映射网格（包括立方球面）上灵活、高性能的模拟。

提出的方法

• 该框架使用 p4est 库管理动态的、非重叠的、多分辨率的逻辑笛卡尔网格层次结构，以四叉树形式存储。
• 每个网格叶节点由 Clawpack 中的单网格有限体积求解器处理，抽象了求解器特定的细节。
• 采用自定义的并行幽灵单元填充算法，确保在网格界面处（包括角落和边缘区域）的幽灵区域具有有效数据，从而支持稳定的时间推进。
• 通过块结构化的索引方案管理网格间通信，处理多块域中方向不匹配和邻居关系的问题。
• 系统支持全局和局部自适应时间推进，具备动态重划分网格和将解重新投影到新网格的能力。
• 实现中采用空间填充曲线，以实现跨 MPI 进程的高效并行分区和负载均衡。

实验结果

研究问题

• RQ1 如何使四叉树森林结构的 AMR 框架在大规模 HPC 系统上实现强可扩展性和弱可扩展性？
• RQ2 在多块、基于块的 AMR 设置中，动态网格重划分和幽灵单元通信的性能开销如何？
• RQ3 幽灵单元填充算法如何确保在网格界面（尤其是角落和边缘）处的数据准确性和一致性？
• RQ4 在 AMR 模拟中，为平衡计算强度和自适应性，最优的网格大小和粒度（每进程网格数）是什么？
• RQ5 该框架能否高效支持复杂几何体（如立方球面），且性能损失最小？

主要发现

• ForestClaw 在最多 64,000 个 MPI 进程下对标量对流问题实现了强可扩展性和弱可扩展性，且重划分网格开销可忽略不计。
• 当每个进程使用至少 100 个网格时，自适应效率超过 90%，表明计算资源得到了高度利用。
• 在立方球面域上，单元处理速率比在平面域上低一个数量级，主要由于额外的度量项计算。
• 即使在复杂几何体上，该框架仍保持高性能，32×32 网格尺寸在自适应性和算术强度之间提供了良好的权衡。
• 幽灵单元填充算法成功地在所有界面类型（包括角落和边缘）维持了数据有效性，支持稳定的二阶有限体积格式。
• 得益于多块结构和空间填充曲线分区策略，系统在均匀加密域中也表现出优异的缓存性能和负载均衡。