[논문 리뷰] SWIFT: Maintaining weak-scalability with a dynamic range of $10^4$ in time-step size to harness extreme adaptivity

Josh Borrow, R. G. Bower외 3명|arXiv (Cornell University)|2018. 07. 03.

Computer Graphics and Visualization Techniques참고 문헌 22인용 수 5

한 줄 요약

이 논문은 적응 메쉬, 작업 기반 병렬 처리 및 SIMD 벡터화, METIS 기반 도메인 분할을 조합하여 4096 코어에서 거의 완벽한 약한 스케일링을 달성하는 천체역학 시뮬레이션 코드인 SWIFT를 제시한다. 이는 시간 단계 크기의 10⁴ 동적 범위를 유지하면서도 극단적인 시간 적응성과 함께 Gadget-2 대비 30배 이상의 성능 향상을 이끌어내며 확장성 손실를 최소화한다.

ABSTRACT

Cosmological simulations require the use of a multiple time-stepping scheme. Without such a scheme, cosmological simulations would be impossible due to their high level of dynamic range; over eleven orders of magnitude in density. Such a large dynamic range leads to a range of over four orders of magnitude in time-step, which presents a significant load-balancing challenge. In this work, the extreme adaptivity that cosmological simulations present is tackled in three main ways through the use of the code SWIFT. First, an adaptive mesh is used to ensure that only the relevant particles are interacted in a given time-step. Second, task-based parallelism is used to ensure efficient load-balancing within a single node, using pthreads and SIMD vectorisation. Finally, a domain decomposition strategy is presented, using the graph domain decomposition library METIS, that bisects the work that must be performed by the simulation between nodes using MPI. These three strategies are shown to give SWIFT near-perfect weak-scaling characteristics, only losing 25% performance when scaling from 1 to 4096 cores on a representative problem, whilst being more than 30x faster than the de-facto standard Gadget-2 code.

연구 동기 및 목표

• 밀도와 시간 단계 크기의 극단적인 동적 범위를 가진 천체역학 시뮬레이션에서 약한 스케일링 문제를 해결한다.
• Courant-Friedrichs-Lewy(CFL) 조건으로 인해 발생하는 시간 단계 크기의 10⁴ 동적 범위로 인한 로드 밸런싱 문제를 해결한다.
• 매우 적응적인 입자 시간 단계와 비균일한 작업 부하에도 불구하고 높은 성능과 확장성을 유지하는 시뮬레이션 프레임워크를 개발한다.
• 비동기 통신과 작업 기반 분할을 통합하여 현대 HPC 아키텍처의 효율적 사용을 가능하게 한다.
• Gadget-2에 비해 뛰어난 시간-해결 성능과 약한 스케일링 특성을 지닌 고성능, 오픈소스 대안을 제공한다.

제안 방법

• 입자 상호작용을 오직 관련 이웃들로 국한시키기 위해 적응 메쉬를 사용하여 시간 단계당 계산 비용을 감소시킨다.
• pthreads를 사용한 작업 기반 병렬 처리와 SIMD 벡터화를 통해 단일 노드 내에서 작업을 효율적으로 균형 잡는다.
• 입자를 기반으로 하는 것이 아니라 계산 작업을 기반으로 분할하는 METIS 기반 그래프 도메인 분할 전략을 구현하여 MPI 노드 간의 로드 밸런싱을 향상시킨다.
• CFL 조건을 적용하여 국소 시간 단계를 결정한다: Δtᵢ ∝ uᵢ⁻¹ᐟ²ρᵢ⁻¹ᐟ³로, 밀도가 높고 더운 영역에서는 더 작은 단계를 보장한다.
• 적응 메쉬 기반의 가짜-베르레트 목록을 사용해 각 시간 단계에서 활성 입자만 이동 및 충격을 적용하여 중복 계산을 최소화한다.
• 특히 매우 적응적인 시간 단계를 가진 경우에 중요한 작업 비용 모델을 도메인 분할에 통합하여 작업 분포를 균형 잡는다.

실험 결과

연구 질문

• RQ1 시간 단계 크기의 10⁴ 동적 범위를 가진 천체역학 시뮬레이션에서 약한 스케일링을 어떻게 유지할 수 있는가?
• RQ2 매우 비균일한 입자 활동과 시간 단계 분포를 가진 시뮬레이션에서 작업을 가장 잘 균형 잡는 도메인 분할 전략은 무엇인가?
• RQ3 작업 기반 병렬 처리와 SIMD 벡터화는 적응적인 시간 단계 시뮬레이션에서 로드 불균형을 효과적으로 관리할 수 있는가?
• RQ4 SWIFT의 성능는 표준으로 여겨지는 Gadget-2와 비교해 시간-해결 성능 및 약한 스케일링 측면에서 어떻게 다른가?
• RQ5 적응 메쉬와 작업 기반 분할을 사용할 경우 적응적인 천체역학 시뮬레이션에서 계산 오버헤드는 어느 정도 감소하는가?

주요 결과

• SWIFT는 대표적인 천체역학 문제에서 1에서 4096 코어로 확장할 때 성능을 25%만 잃으며 거의 완벽한 약한 스케일링을 달성한다.
• 25×10⁹개의 입자를 가진 4096 코어에서 SWIFT는 코어당 업데이트당 2.4×10⁻⁵초의 시간을 기록하여 대규모에서의 높은 효율성을 입증한다.
• SPH 전용 모드에서 SWIFT는 Gadget-2보다 30배 이상 빠르며, 적응적인 천체역학 시뮬레이션의 시간-해결 성능을 크게 향상시킨다.
• METIS 기반 도메인 분할은 통신 오버헤드를 감소시키고, 특히 작은 시간 단계를 가진 입자들에 대해 작업 균형을 향상시킨다.
• 적응 메쉬와 작업 기반 기법은 활성 입자들만 처리함으로써 계산을 줄여, 복잡한 시간 단계 계층에도 불구하고 효율성을 향상시킨다.
• 코어 수에 관계없이 성능가 안정적이며, 1코어(5.8×10⁻⁶ s)에서 32코어(7.1×10⁻⁶ s)로의 업데이트 시간 증가가 미미하여 뛰어난 로드 밸런싱을 보여준다.