[논문 리뷰] MAESTRO, CASTRO, and SEDONA -- Petascale Codes for Astrophysical Applications

Ann Almgren, John B. Bell외 7명|arXiv (Cornell University)|2010. 08. 17.

Gamma-ray bursts and supernovae참고 문헌 2인용 수 10

한 줄 요약

이 논문은 타입 Ia 초신성의 종단에서 종단까지의 모델링을 위한 엔드 투 엔드 시뮬레이션 코드인 MAESTRO, CASTRO, SEDONA를 제시한다. MAESTRO는 비음속 대류 단계를 위해 저마하수준 유체역학 기법을 사용하고, CASTRO는 폭발 동역학을 위해 완전히 압축 가능한 해법을 사용하며, SEDONA는 시간에 따라 변하는 복사 전송을 통해 합성 광선 곡선과 스펙트럼을 계산한다. 주요 기여는 MAESTRO에서 CASTRO로의 데이터 매핑을 성공적으로 구현하여 유동 제도 간의 원활한 전환을 가능하게 한 것으로, 200,000 코어까지의 강력한 스케일링과 페타스케일 아키텍처에서의 효율적인 성능을 입증하였다.

ABSTRACT

Performing high-resolution, high-fidelity, three-dimensional simulations of Type Ia supernovae (SNe Ia) requires not only algorithms that accurately represent the correct physics, but also codes that effectively harness the resources of the most powerful supercomputers. We are developing a suite of codes that provide the capability to perform end-to-end simulations of SNe Ia, from the early convective phase leading up to ignition to the explosion phase in which deflagration/detonation waves explode the star to the computation of the light curves resulting from the explosion. In this paper we discuss these codes with an emphasis on the techniques needed to scale them to petascale architectures. We also demonstrate our ability to map data from a low Mach number formulation to a compressible solver.

연구 동기 및 목표

• 대류에서 폭발 및 관측 가능한 광선 곡선에 이르기까지 고정밀도 종단에서 종단까지의 타입 Ia 초신성 시뮬레이션을 가능하게 하기 위해.
• 8192³ 해상도까지 가능한 시뮬레이션을 지원하는 페타스케일 슈퍼컴퓨터에 효율적으로 스케일링되는 코드를 개발하기 위해.
• 저마하수준과 완전히 압축 가능한 유체역학 간의 격차를 메우기 위해 MAESTRO에서 CASTRO로의 데이터 전달 기능을 제공함으로써.
• 적응 격자 구조 및 병렬 계산을 사용하는 다물리적 천체물리 시뮬레이션을 위한 통합 소프트웨어 프레임워크를 제공하기 위해.
• SEDONA의 복사 전송을 통해 시뮬레이션된 초신성 관측 자료와 실제 천문학적 데이터를 직접 비교할 수 있도록 하기 위해.

제안 방법

• MAESTRO는 음파를 분리함으로써 큰 시간 단계를 가능하게 하며, 음속이 아닌 유체 속도에 의해 제어되는 저마하수준 유체역학 공식을 사용한다.
• CASTRO는 자가중력과 핵반응을 포함한 완전히 압축 가능한 오일러 방정식을 해석적으로 전진시키는 하이퍼볼릭 보존 법칙 시스템을 사용한다.
• SEDONA는 시뮬레이션된 물질의 방출에서 합성 광선 곡선과 스펙트럼을 계산하기 위해 시간에 따라 변하는 다파장 암시적 몬테카를로 복사 전송 방법을 사용한다.
• 모든 코드는 구조적 격자에 기반한 적응 격자 구조(AMR)를 위한 BoxLib 프레임워크를 사용하여 동적 정밀도 향상과 효율적인 병렬 처리를 가능하게 한다.
• 해시 기반 정렬 알고리즘은 O(N²) 격자 교차 검사 수를 O(N + N²/M)로 줄여 AMR의 통신 패턴을 최적화하여 확장성 향상에 기여한다.
• MAESTRO에서 CASTRO로의 데이터 매핑은 공통 소프트웨어 프레임워크를 통해 이루어지며, 저마하수준 해법에서부터 압축 가능한 시뮬레이션을 일관되게 초기화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 저마하수준 유체역학 코드(MAESTRO)가 초신성 시뮬레이션에서 완전히 압축 가능한 코드(CASTRO)를 효과적으로 초기화하는 데에 적합한가?
• RQ2 MAESTRO, CASTRO, SEDONA 세 코드가 최대 200,000 코어까지의 페타스케일 아키텍처에서 얼마나 잘 스케일링되는가?
• RQ3 극도의 규모에서 적응 격자 구조의 성능 오버헤드는 어느 정도인가?
• RQ4 통합 소프트웨어 스택을 사용하여 비음속 대류에서 초음속 폭발 동역학으로의 전이를 정확하고 효율적으로 시뮬레이션할 수 있는가?
• RQ5 CASTRO 출력으로 초기화된 SEDONA의 합성 광선 곡선과 스펙트럼이 관측 자료와 얼마나 유사한가?

주요 결과

• MAESTRO와 CASTRO는 196,000 코어까지 강력한 스케일링을 달성하였으며, 고코어 수에서 AMR로 인한 오버헤드는 15~18%에 불과하다.
• 2D 유입 제트 문제에서 MAESTRO에서 CASTRO로의 데이터 매핑이 성공적으로 시험되었으며, MAESTRO 데이터로 초기화된 CASTRO 시뮬레이션은 기준 솔루션과 밀도 있는 일치를 보였다.
• CASTRO를 사용한 타입 Ia 초신성 폭발 시뮬레이션은 8192³의 효과적 해상도를 달성하였으며, NERSC의 Franklin 시스템에서 약 200만 CPU시간을 소비하였다.
• MAESTRO는 백색왜성의 비음속 대류를 장기간 통합할 수 있었으며, 768³ 효과적 해상도에서 약 100만 CPU시간의 시뮬레이션을 수행하였다.
• 해시 기반 격자 교차 검사 알고리즘을 사용함으로써 AMR의 통신 비용이 O(N²)에서 O(N + N²/M)로 감소하여 대규모 시스템에서의 확장성 향상이著명하게 향상되었다.
• SEDONA는 CASTRO의 방출 물질에서 합성 광선 곡선과 스펙트럼을 성공적으로 계산하여 관측 자료와의 직접 비교를 가능하게 하였다.