[논문 리뷰] ForestClaw: A parallel algorithm for patch-based adaptive mesh refinement on a forest of quadtrees

Donna Calhoun, Carsten Burstedde|arXiv (Cornell University)|2017. 03. 09.

Computational Fluid Dynamics and Aerodynamics참고 문헌 24인용 수 5

한 줄 요약

ForestClaw는 p4est 라이브러리를 사용해 비중첩 4분할 트리의 숲을 관리하는 병렬적이고 패치 기반의 적응 메esh 보정(AMR) 프레임워크로, 시간에 따라 변화하는 타원형 편미분방정식의 확장 가능한 다블록 시뮬레이션을 가능하게 한다. 이 프레임워크는 재메시 기반 오버헤드가 극히 적은 상태에서 최대 64,000개의 MPI 프로세스까지 강한 스케일러빌리티와 약한 스케일러빌리티를 달성하며, 효율적인 고스트 셀 통신과 맵핑된 복잡한 기하구조, 예를 들어 정육면체 구면을 포함한 기하구조에서 유한체적 방법을 사용하는 Clawpack 솔버와 통합한다.

ABSTRACT

We describe a parallel, adaptive, multi-block algorithm for explicit integration of time dependent partial differential equations on two-dimensional Cartesian grids. The grid layout we consider consists of a nested hierarchy of fixed size, non-overlapping, logically Cartesian grids stored as leaves in a quadtree. Dynamic grid refinement and parallel partitioning of the grids is done through the use of the highly scalable quadtree/octree library p4est. Because our concept is multi-block, we are able to easily solve on a variety of geometries including the cubed sphere. In this paper, we pay special attention to providing details of the parallel ghost-filling algorithm needed to ensure that both corner and edge ghost regions around each grid hold valid values. We have implemented this algorithm in the ForestClaw code using single-grid solvers from ClawPack, a software package for solving hyperbolic PDEs using finite volumes methods. We show weak and strong scalability results for scalar advection problems on two-dimensional manifold domains on 1 to 64Ki MPI processes, demonstrating neglible regridding overhead.

연구 동기 및 목표

• 복잡한 기하구조에서 시간에 따라 변화하는 타원형 편미분방정식을 해결하기 위해 4분할 트리의 숲 구조를 사용하는 확장 가능한 병렬 AMR 프레임워크를 개발하는 것.
• 메쉬 관리와 솔버 로직을 분리하여 검증된 솔버와 메쉬 알고리즘의 모듈식 재사용을 가능하게 하는 것.
• 병렬 다블록 환경에서 메쉬 인터페이스, 특히 모서리 및 가장자리 영역에서 정확하고 효율적인 고스트 셀 통신을 보장하는 것.
• 평탄한 영역과 곡면 영역 모두에서 대규모 시스템에서 높은 병렬 스케일러빌리티와 낮은 재메시 오버헤드를 입증하는 것.
• 정밀한 다블록 인프라를 통해 맵핑된 그리드, 특히 정육면체 구면을 포함한 유연하고 고성능의 시뮬레이션을 지원하는 것.

제안 방법

• 프레임워크는 p4est 라이브러리를 사용해 동적이고 비중첩되며 다중 해상도의 논리적 카르테시안 메쉬 계층을 4분할 트리로 저장한다.
• 각 메쉬 리프는 Clawpack의 단일 그리드 유한체적 솔버에 의해 처리되며, 솔버 전용 세부 정보를 추상화한다.
• 사용자 정의된 병렬 고스트 채우기 알고리즘은 메쉬 인터페이스를 넘어서는 모서리 및 가장자리 고스트 영역에서 유효한 데이터를 보장하여 안정적인 시간 적분을 가능하게 한다.
• 블록 기반 색인 체계를 통해 다블록 도메인에서 방향 불일치와 이웃 관계를 처리함으로써 인터그리드 통신을 관리한다.
• 전역 및 국소 적응형 시간 적분을 모두 지원하며, 동적 재메시 및 솔루션의 새로운 메쉬로의 재투영을 수행한다.
• 구현은 MPI 프로세스 간 효율적인 병렬 분할과 로드 밸런싱을 위해 공간을 채우는 곡선을 사용한다.

실험 결과

연구 질문

• RQ1 4분할 트리의 숲 기반 AMR 프레임워크는 대규모 HPC 시스템에서 강한 스케일러빌리티와 약한 스케일러빌리티를 어떻게 달성할 수 있는가?
• RQ2 다블록 패치 기반 AMR 환경에서 동적 메쉬 재메시 및 고스트 셀 통신의 성능 오버헤드는 무엇인가?
• RQ3 고스트 채우기 알고리즘이 특히 모서리 및 가장자리에서 메쉬 인터페이스를 넘어 정확성과 일관성을 어떻게 확보하는가?
• RQ4 계산 강도와 적응성의 균형을 맞추기 위해 최적의 그리드 크기와 세부 수준(프로세스당 그리드 수)은 무엇인가?
• RQ5 프레임워크는 성능 손실이 최소한이 되도록 복잡한 기하구조, 예를 들어 정육면체 구면을 효율적으로 지원할 수 있는가?

주요 결과

• ForestClaw는 스칼라 선형 이동 문제에 대해 최대 64,000개의 MPI 프로세스에서 재메시 오버헤드가 극히 적은 상태로 강한 스케일러빌리티와 약한 스케일러빌리티를 달성한다.
• 프로세스당 최소 100개의 그리드를 사용할 경우 적응형 효율이 90%를 초과하여 계산 자원의 높은 활용도를 보인다.
• 정육면체 구면 도메인에서 셀 처리 속도는 평탄한 도메인에 비해 약 10배 정도 낮아지며, 이는 추가적인 계량 항 계산 때문이지만, 복잡한 기하구조에서도 높은 성능을 유지한다.
• 32×32 그리드 크기는 적응성과 산술 강도 사이의 유리한 균형을 제공하므로, 복잡한 기하구조에서도 높은 성능을 유지한다.
• 고스트 채우기 알고리즘이 모든 유형의 인터페이스, 특히 모서리 및 가장자리 영역에서 데이터 유효성을 성공적으로 유지하여 안정적인 2차 유한체적 방법을 가능하게 한다.
• 다블록 및 공간을 채우는 곡선 기반 분할 전략 덕분에 균일하게 메쉬가 정렬된 도메인에서도 높은 캐시 성능과 로드 밸런싱을 달성한다.