[논문 리뷰] SWIFT: A modern highly-parallel gravity and smoothed particle hydrodynamics solver for astrophysical and cosmological applications

Matthieu Schaller, Josh Borrow외 19명|arXiv (Cornell University)|2023. 05. 22.

Galaxies: Formation, Evolution, Phenomena참고 문헌 220인용 수 23

한 줄 요약

SWIFT는 중력, 스무스드 파article 유체역학(SPH), 그리고 우주론적 물리를 하이브리드 공유 메모리 및 분산 메모리 병렬 처리 방식으로 결합한 완전히 오픈소스이자 고도로 병렬화된 작업 기반의 천체물리 시뮬레이션 코드이다. 이 코드는 빠른 다체법(Fast-Multipole) 및 입자 격자 기반 중력 해법을 사용하여 약 3000억 개의 입자를 포함하는 우주론적 시뮬레이션에서 뛰어난 약한 스케일링 성능을 달성하며, 다양한 SPH 변종과 은하 형성 및 행성 물리학을 위한 모듈식 미세구조 모델을 지원한다.

ABSTRACT

Numerical simulations have become one of the key tools used by theorists in all the fields of astrophysics and cosmology. The development of modern tools that target the largest existing computing systems and exploit state-of-the-art numerical methods and algorithms is thus crucial. In this paper, we introduce the fully open-source highly-parallel, versatile, and modular coupled hydrodynamics, gravity, cosmology, and galaxy-formation code SWIFT. The software package exploits hybrid shared- and distributed-memory task-based parallelism, asynchronous communications, and domain-decomposition algorithms based on balancing the workload, rather than the data, to efficiently exploit modern high-performance computing cluster architectures. Gravity is solved for using a fast-multipole-method, optionally coupled to a particle mesh solver in Fourier space to handle periodic volumes. For gas evolution, multiple modern flavours of Smoothed Particle Hydrodynamics are implemented. SWIFT also evolves neutrinos using a state-of-the-art particle-based method. Two complementary networks of sub-grid models for galaxy formation as well as extensions to simulate planetary physics are also released as part of the code. An extensive set of output options, including snapshots, light-cones, power spectra, and a coupling to structure finders are also included. We describe the overall code architecture, summarise the consistency and accuracy tests that were performed, and demonstrate the excellent weak-scaling performance of the code using a representative cosmological hydrodynamical problem with $\approx$$300$ billion particles. The code is released to the community alongside extensive documentation for both users and developers, a large selection of example test problems, and a suite of tools to aid in the analysis of large simulations run with SWIFT.

연구 동기 및 목표

• 대규모 천체물리학적 및 우주론적 문제를 다룰 수 있는 확장성 있고 모듈식이며 오픈소스인 시뮬레이션 코드를 개발하는 것.
• 작업 기반 병렬 처리와 균형 잡힌 워크로드 분할을 통해 현대 고성능 컴퓨팅 아키텍처를 효율적으로 활용할 수 있도록 하는 것.
• 확장 가능한 미세구조 물리 모델을 통해 중력, 유체역학, 중성미자, 은하 형성 모델의 정확하고 유연한 모의를 지원하는 것.
• 공개 배포, 광범위한 문서화 및 공유 예제 문제를 통해 재현 가능성과 공동 개발을 촉진하는 것.

제안 방법

• 현대 HPC 클러스터에서 효율적으로 확장하기 위해 비동기 통신을 포함한 하이브리드 공유 메모리 및 분산 메모리 기반의 작업 기반 병렬 처리를 구현한다.
• 중력을 위해 빠른 다체법(Fast-Multipole Method, FMM)을 사용하며, 주기적 경계 조건을 위해 Fourier 공간 기반 입자 격자 해법과 선택적으로 결합할 수 있다.
• 현대적인 SPH 변종을 다수 구현하여 천체 환경에서의 정확한 기체 역학을 구현한다. 이 중 Sphenix도 포함된다.
• 최신 기술 기반의 입자 기반 방법을 통해 중성미자의 진화를 모델링하여 대규모 구조 시뮬레이션에서 그 우주론적 영향을 반영한다.
• 은하 형성에 대한 두 가지 상호보완적인 미세구조 모델을 통합하며, 행성계 물리학 모델 확장도 지원한다.
• 스냅샷, 빛의 경로(라이트콘), 스펙트럼, 분석을 위한 구조 탐지기와의 통합 등 다양한 출력 형식을 지원한다.

실험 결과

연구 질문

• RQ1 현대 우주론적 및 천체물리학 문제의 복잡성을 다룰 수 있는 고도로 확장 가능하고 모듈식이며 오픈소스인 시뮬레이션 코드는 어떻게 설계할 수 있는가?
• RQ2 수십억 개의 입자를 포함하는 시뮬레이션에서 현대 CPU 기반 HPC 시스템에서 최적의 성능을 내기 위한 병렬 처리 전략는 무엇인가?
• RQ3 중력, SPH, 중성미자 역학, 은하 형성 모델 등의 여러 수치적 방법을 하나의 확장 가능한 프레임워크 내에서 효율적으로 결합하는 방법은 무엇인가?
• RQ4 이 코드를 사용하여 대규모 우주론적 유체역학에 대해 달성할 수 있는 성능 및 정확도 기준은 무엇인가?
• RQ5 이 코드는 계산 천체물리학 분야에서 재현 가능성과 공동 개발을 어떻게 지원할 수 있는가?

주요 결과

• SWIFT는 약 3000억 개의 입자를 포함하는 우주론적 유체역학 문제에서 뛰어난 약한 스케일링 성능을 보이며, 대규모 컴퓨팅 클러스터에서의 확장성을 입증했다.
• 코드는 Sphenix 기법을 포함한 다양한 SPH 변종을 성공적으로 통합하였으며, 주기적 체적에서 FMM와 입자 격자 방법을 조합한 고급 중력 해법도 지원한다.
• 입자 기반 방법을 통해 중성미자의 진화를 정확하게 모델링하여 대규모 구조 시뮬레이션에서 그 우주론적 영향을 포함시킬 수 있다.
• 모듈식 설계 덕분에 은하 형성의 미세구조 모델이 원활하게 통합되며, 핵심 코드와 함께 두 가지 상호보완적인 네트워크가 함께 공개되었다.
• 포괄적인 문서화, 예제 문제, 분석 도구와 함께 공개 배포되어 재현 가능성과 공동 기여를 지원한다.
• 광범위한 일致성 및 정확도 테스트를 통해 다양한 천체물리 문제에 대해 수치적 방법의 신뢰성이 확인되었다.