[논문 리뷰] ForestClaw: Hybrid forest-of-octrees AMR for hyperbolic conservation laws

Carsten Burstedde, Donna Calhoun외 2명|arXiv (Cornell University)|2013. 08. 07.

Computational Fluid Dynamics and AerodynamicsEngineering참고 문헌 17인용 수 18

한 줄 요약

ForestClaw는 초국소형 나무구조물 기반의 적응 메쉬 분할(AMR) 프레임워크를 결합한 하이브리드 숲-오кт리 기반 AMR 아키텍처를 소개한다. 이는 p4est의 확장 가능한 트리 기반 AMR와 초국소형 메쉬 기반 해법기인 Clawpack을 결합하여 초국소형 보존법칙을 위한 고성능, 부하 균형 잡힌 시뮬레이션을 가능하게 한다. 각 AMR 리프를 $m^d$ 자유도를 가진 균일한 계산 패치로 간주함으로써, 최대 16,384개의 CPU 코어에서 82%의 병렬 효율성을 달성하며 스케일링 시 높은 성능을 발휘한다.

ABSTRACT

We present a new hybrid paradigm for parallel adaptive mesh refinement (AMR) that combines the scalability and lightweight architecture of tree-based AMR with the computational efficiency of patch-based solvers for hyperbolic conservation laws. The key idea is to interpret each leaf of the AMR hierarchy as one uniform compute patch in $\sR^d$ with $m^d$ degrees of freedom, where $m$ is customarily between 8 and 32. Thus, computation on each patch can be optimized for speed, while we inherit the flexibility of adaptive meshes. In our work we choose to integrate with the p4est AMR library since it allows us to compose the mesh from multiple mapped octrees and enables the cubed sphere and other nontrivial multiblock geometries. We describe aspects of the parallel implementation and close with scalings for both MPI-only and OpenMP/MPI hybrid runs, where the largest MPI run executes on 16,384 CPU cores.

연구 동기 및 목표

• 트리 기반 AMR의 유연성과 패치 기반 해법기의 효율성을 결합하여 초국소형 보존법칙을 위한 확장 가능하고 고성능의 AMR 프레임워크를 개발한다.
• 모듈식이고 조합 가능한 설계에서 MPI 및 OpenMP 스레딩 모델을 통합함으로써 현대의 멀티코어 아키텍처에서 효율적인 병렬 처리를 가능하게 한다.
• p4est의 블록 구조 메쉬 조합 기능을 활용하여 큐브드 스피어와 같은 복잡한 다중블록 기하구조를 지원한다.
• 패치 경계를 넘는 이웃 패치 간의 교환 패턴과 고스트 셀 관리 최적화를 통해 AMR에서의 통신 오버헤드를 최소화한다.
• 대규모 HPC 시스템에서 높은 병렬 효율성과 강한 스케일링 성능을 달성하며, 하이브리드 MPI/OpenMP 실행 방식으로 최대 16,384개의 CPU 코어에서 구현한다.

제안 방법

• 각 p4est 오кт리 리프를 $\mathbb{R}^d$ 내의 단일 계산 패치로 매핑하고, $m^d$ 자유도를 부여함으로써 패치당 최적화된 커널 성능을 달성한다.
• 메쉬 분할, 해소, 병렬 분할을 최소한의 메타데이터 오버헤드로 관리하기 위해 p4est을 기반 AMR 인fra로 사용한다.
• Clawpack/Manyclaw와 통합하여 각 패치에서 웨이브 전파 알고리즘을 사용한 시간 적분을 수행함으로써 수치 정확성과 안정성을 유지한다.
• 하이브리드 MPI+OpenMP 병렬 모델을 구현하여 각 MPI 랭크가 로컬 패치를 관리하고, 각 패치 내에서 OpenMP 스레드를 사용해 노드 내 병렬 처리를 수행한다.
• p4est에서 ForestClaw로 이웃 패치 연결 정보를 상수 시간 조회 인터페이스를 통해 전달함으로써, 복잡한 블록 경계를 넘는 고스트 셀 교환을 효율적으로 수행한다.
• p4est의 병렬 알고리즘을 사용해 수준 간 2:1 분할 균형 조건을 강제 적용함으로써 메쉬 일관성을 유지하고 국소 외 영향을 유발하는 분할 오류를 방지한다.

실험 결과

연구 질문

• RQ1 트리 기반 메쉬 관리와 패치 기반 해법기를 융합함으로써 하이브리드 숲-오кт리 기반 AMR 프레임워크가 초국소형 보존법칙에 대해 높은 확장성과 성능을 달성할 수 있는가?
• RQ2 기존의 셀 단위 유한체적 방법과 비교했을 때, AMR 리프에 적용된 패치 기반 접근 방식은 계산 효율성과 병렬 스케일링 측면에서 어떻게 다른가?
• RQ3 서브사이클링을 통한 적응 메쉬 분할이 대규모 시뮬레이션에서 전체 실행 시간과 부하 균형에 어떤 영향을 미치는가?
• RQ4 복잡한 블록 연결성을 가진 다중블록 비균일 AMR 환경에서 고스트 셀 교환은 얼마나 효율적으로 최적화될 수 있는가?
• RQ5 p4est과 Clawpack의 통합을 통해 큐브드 스피어와 같은 복잡한 기하구조를 지원하면서도 고성능 병렬 처리 성능을 유지할 수 있는가?

주요 결과

• MPI 전용 최대 런에서 16,384개의 CPU 코어에서 82%의 병렬 효율성을 달성하였으며, 4,096개 코어까지 96%의 효율성으로 강한 약한 스케일링 성능을 보였다.
• 서브사이클링을 통한 적응 메쉬 분할은 균일하게 분할된 메쉬 대비 총 벽면 시간을 최대 50배까지 감소시켰으며, 런타임은 P=16일 때 252초에서 P=256일 때 17.3초로 감소하였다.
• 약한 스케일링 런에서 최대 4,096개 코어까지 고스트 패치 교환 비용이 총 시간의 16% 미만을 차지하여 통신 오버헤드가 관리 가능한 수준임을 확인하였다.
• 16에서 256개의 MPI 랭크에 걸쳐 시간 적분 단계의 시간이 선형적으로 스케일링되었으며, 단계 시간은 1.115초에서 0.092초로 감소하여 양호한 부하 균형을 확인하였다.
• 하이브리드 MPI+OpenMP 모델을 통해 16,384개 코어에서 강한 스케일링을 달성하였고, 82%의 효율성을 확보하였으며, 구면 운동 예제에서는 파artitions 간에 안정적인 분할 일치가 유지되었다.
• 2:1 균형 조건은 p4est의 병렬 알고리즘을 통해 강제 적용되어 국소 외 영향을 유발하는 분할 오류를 방지하고 수준 간 메쉬 일관성을 확보하였다.