[논문 리뷰] Efficient Parallelization for AMR MHD Multiphysics Calculations; Implementation in AstroBEAR

Jonathan Carroll-Nellenback, Brandon Shroyer외 2명|arXiv (Cornell University)|2011. 10. 07.

Advanced Data Storage Technologies참고 문헌 3인용 수 5

한 줄 요약

이 논문은 AstroBEAR 2.0에서 적응 메쉬 다이내믹스(MHD) 시뮬레이션을 위한 새로운 병렬화 전략을 제시한다. 이 전략은 수준 간 스레딩과 분산 AMR 트리를 사용하여 전역적 로드 밸런싱과 효율적인 메모리 관리를 가능하게 한다. 이 방법은 2048개의 프로세서까지 80% 이상의 효율을 기록하는 강한 약한 스케일링을 달성하며, 기존의 수준별로 로드 밸런싱을 수행하는 방식의 한계를 극복하고 고해상도 수준이 많은 깊은 시뮬레이션을 가능하게 한다.

ABSTRACT

Current AMR simulations require algorithms that are highly parallelized and manage memory efficiently. As compute engines grow larger, AMR simulations will require algorithms that achieve new levels of efficient parallelization and memory management. We have attempted to employ new techniques to achieve both of these goals. Patch or grid based AMR often employs ghost cells to decouple the hyperbolic advances of each grid on a given refinement level. This decoupling allows each grid to be advanced independently. In AstroBEAR we utilize this independence by threading the grid advances on each level with preference going to the finer level grids. This allows for global load balancing instead of level by level load balancing and allows for greater parallelization across both physical space and AMR level. Threading of level advances can also improve performance by interleaving communication with computation, especially in deep simulations with many levels of refinement. To improve memory management we have employed a distributed tree algorithm that requires processors to only store and communicate local sections of the AMR tree structure with neighboring processors.

연구 동기 및 목표

• 기존의 수준별로 로드 밸런싱을 수행하는 전통적 AMR 코드의 확장성 한계를 해결하기 위해, 많은 수의 정밀도 수준을 가진 깊은 시뮬레이션을 제한하는 원인을 제거한다.
• AMR 트리 구조를 프로세서 간에 분산시켜 대규모 AMR 시뮬레이션에서 메모리 효율성을 향상시키고, 전역적 메모리 액세스를 최소화한다.
• 다른 정밀도 수준 간에 그리드 진행을 독립적으로 스레딩할 수 있도록 하여 더 큰 병렬성을 확보하고, 통신 지연 기간 동안 프로세서 활용도를 향상시킨다.
• 더 넓은 수준의 진행 상황을 고려하여 더 미세한 수준에 작업을 분배하는 동적 로드 밸런싱 전략을 개발하여, 프로세서 간 균형 잡힌 작업 분배를 보장한다.
• 대규모 프로세서 수에서 AMR-MHD 시뮬레이션의 강한 약한 스케일링 성능을 입증하여, 새로운 알고리즘 설계의 효율성을 검증한다.

제안 방법

• 다른 정밀도 수준에서 그리드를 동시에 진행하기 위해 수준 간 스레딩을 적용하고, 더 미세한 수준에 더 높은 우선순위를 부여하여 진행 상황을 확보하고 무기한 대기 시간을 줄인다.
• 각 프로세서가 로컬 트리 노드만 저장하고 이웃 프로세서와 필요한 트리 정보만 교환하는 분산 AMR 트리를 구현하여, 메모리 피드백과 통신 오버헤드를 감소시킨다.
• 확장된 고스트 존을 사용하여 수준 간 그리드 진행을 분리함으로써, 독립적인 계산을 가능하게 하고 동기화 블로킹을 줄인다.
• 모든 수준(0에서 l까지)의 잔여 작업량을 각 프로세서당 예측하고, 더 미세한 수준의 그리드를 분배하여 총 예측 작업량을 균형 잡는 동적 로드 밸런싱 알고리즘을 도입한다.
• 예측된 잔여 작업량을 $\eta_{l}^{p} = \sum_{l'=0}^{l} (s_{l'}g_{l'}^{p} - w_{l'}^{p})$로 수식화하고, $g_{l}^{p} = \overline{g_{l}} - \frac{\eta_{l-1}^{p} - \overline{\eta_{l-1}}}{s_{l}}$를 통해 그리드 분포를 조정하여 각 프로세서 간 $\eta_{l}^{p}$를 균일하게 만든다.
• 12.5%의 충전 분율을 가진 자석화된 실린더 이송 문제를 사용하여 최대 2048개의 프로세서에서 약한 스케일링 테스트를 수행하여 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 AMR 시뮬레이션에서 수준 간 스레딩이 통신 대기 시간 동안의 로드 밸런싱과 무기한 대기 시간 감소에 기여하는가?
• RQ2 대규모 시뮬레이션에서 분산 AMR 트리 구조가 메모리 사용과 통신 효율성에 미치는 영향은 무엇인가?
• RQ3 다중 정밀도 수준 간의 동적 로드 밸런싱이 AMR-MHD 시뮬레이션의 약한 스케일링 성능 향상에 얼마나 기여하는가?
• RQ4 대규모 프로세서 수에서 신규 AMR 알고리즘의 약한 스케일링 효율성은 어떠한가? 특히 고해상도 수준이 많은 깊은 시뮬레이션에서의 성능을 고려할 것.
• RQ5 제안된 방법은 각 수준을 별도로 로드 밸런싱할 필요 없이 깊은 AMR 계층을 실용적으로 사용할 수 있도록 하는가?

주요 결과

• 제안된 수준 간 스레딩 전략은 모든 정밀도 수준에 걸쳐 전역적 로드 밸런싱을 가능하게 하여, 각 수준을 별도로 균형 잡는 것의 필요성을 제거하고 깊은 AMR 계층의 효율적 사용을 가능하게 한다.
• 분산 AMR 트리는 각 프로세서가 로컬 트리 정보만 저장하고 즉각적인 이웃과만 통신하도록 하여 메모리 오버헤드를 감소시키고 확장성을 향상시킨다.
• 동적 로드 밸런싱 알고리즘은 모든 더 넓은 수준과 현재 수준의 작업량을 예측하고 조정하여 프로세서 간 균형 잡힌 작업 분배를 성공적으로 유지한다.
• 기본 그리드 해상도를 유지하기 위해 프로세서당 64³ 개의 셀을 유지하도록 조정함으로써, 고정 그리드 및 AMR 시뮬레이션 모두에서 2048개의 프로세서까지 80% 이상의 약한 스케일링 효율을 달성한다.
• 수준 간 진행을 분리하고 통신 대기 시간 동안 지속적인 프로세서 활용을 가능하게 하여 고해상도 수준이 많은 깊은 시뮬레이션을 가능하게 한다.
• 낮은 충전 분율(예: 12.5%)과 많은 정밀도 수준을 가진 시뮬레이션을 지원하여 이전에는 사용 가능한 AMR 수준의 수를 제한했던 제약을 극복한다.