[논문 리뷰] Highly Optimized Full-Core Reactor Simulations on Summit

Paul Fischer, Elia Merzari외 9명|arXiv (Cornell University)|2021. 10. 01.

Nuclear reactor physics and engineering참고 문헌 28인용 수 9

한 줄 요약

이 논문은 Summit 슈퍼컴퓨터에서 NekRS 스펙트럴 유한요소 코드를 사용하여 핵로드의 전체 코어에 대한 첫 번째 완전한 코어 유체역학 시뮬레이션을 수행한다. 고도로 최적화된 알고리즘, 고차원 이산화 및 적응형 통신 전략을 통해 단일 유동 통과 시간을 6시간 이내로 구현하였다. 9800만 개의 요소와 35만 개 이상의 페블을 포함하는 페블 베드 코어의 시뮬레이션은 나비에-스토크스 시간스텝당 0.25초 미만으로 완료되었으며, 이는 프리-엑사스케일 시스템에서의 반도체 설계 성능과 확장성에 있어 중대한 도약을 의미한다.

ABSTRACT

Nek5000/RS is a highly-performant open-source spectral element code for simulation of incompressible and low-Mach fluid flow, heat transfer, and combustion with a particular focus on turbulent flows in complex domains. It is based on high-order discretizations that realize the same (or lower) cost per gridpoint as traditional low-order methods. State-of-the-art multilevel preconditioners, efficient high-order time-splitting methods, and runtime-adaptive communication strategies are built on a fast OCCA-based kernel library, libParanumal, to provide scalability and portability across the spectrum of current and future high-performance computing platforms. On Summit, Nek5000/RS has recently achieved an milestone in the simulation of nuclear reactors: the first full-core computational fluid dynamics simulations of reactor cores, including pebble beds with > 350,000 pebbles and 98M elements advanced in less than 0.25 seconds per Navier-Stokes timestep. With carefully tuned algorithms, it is possible to simulate a single flow-through time for a full reactor core in less than six hours on all of Summit.

연구 동기 및 목표

• 기존에 계산 비용과 규모로 인해 비현실적이었던 핵로드 코어의 전체 코어, 난류 해석 시뮬레이션를 가능하게 하기 위해.
• 유동 저항과 열전달 예측에 불확실성을 유발하는 전통적인 다공성 매체나 평균 모델의 한계를 극복하기 위해.
• Summit과 같은 리더십 수준의 HPC 시스템에서 확장성 있는 고성능 CFD 시뮬레이션을 구현하고, 엑사스케일 수준의 성능를 달성하기 위해.
• 전체 코어 반도체 설계 분석의 시뮬레이션 시간을 단축시켜, 다수의 변수 분석과 모델 검증을 가능하게 하기 위해.
• 혼합 정밀도 조절 및 적응형 통신을 포함한 고급 알고리즘 최적화의 실세계 반도체 설계 시뮬레이션에서의 효과성을 검증하기 위해.

제안 방법

• 압축성 없는 나비에-스토크스 방정식에 대해 고차원(N=8) 비연속 갈레르킨 이산화를 사용하는 Nek5000/RS 스펙트럴 유한요소 코드를 활용한다.
• BDF2 시간 적분과 고급 다수준 조절자(preconditioners)를 사용한 반음성 시간 분할 방법을 통해 압력-속도 결합을 구현한다.
• GPU 가속 아키텍처에서의 이식성과 고성능 실행을 가능하게 하는 OCCA 기반 커널 라이브러리인 libParanumal을 활용한다.
• 네트워크 구조와 문제 크기에 따라 동적으로 데이터 분포 및 통신 패턴을 조정하는 런타임 적응형 통신 전략을 적용한다.
• 해결 수렴 속도를 향상시키면서도 해답 정확도를 유지하기 위해 조절자에서 혼합 정밀도 산술을 사용한다.
• 압력 투영에서 발생하는 타원형 시스템을 해결하기 위해 스펙트럴 유한요소 다중격자와 함께 2-Cheb-ASM 및 1-Cheb-Jac 조절 전략을 사용한다.

실험 결과

연구 질문

• RQ1 프리-엑사스케일 슈퍼컴퓨터에서 전체 코어, 난류 해석 CFD 시뮬레이션을 실용적인 솔루션 시간 내에 수행할 수 있는가?
• RQ2 현대 GPU 가속 시스템에서 전체 코어 반도체 설계 시뮬레이션의 초당 타임스텝을 1초 이내로 달성하기 위해 필요한 알고리즘 및 구현 최적화는 무엇인가?
• RQ3 대규모 스펙트럴 유한요소 시뮬레이션에서 적응형 통신과 혼합 정밀도 조절자가 성능과 확장성에 미치는 영향은 어떠한가?
• RQ4 복잡한 반도체 기하학적 형상에서 고차원 스펙트럴 유한요소 방법이 저차원 방법 대비 단위 그리드 포인트당 성능을 얼마나 뛰어나게 할 수 있는가?
• RQ5 이러한 시뮬레이션은 다공성 매체 근사치와 같은 저차원 모델의 개선 및 검증을 위한 고정밀 기준 데이터를 제공할 수 있는가?

주요 결과

• Sum미트에서 352,625개의 페블과 9880만 개의 육면체 요소를 포함한 전체 코어 페블 베드로드의 시뮬레이션이 나비에-스토크스 타임스텝당 0.25초 미만으로 완료되었다.
• Summit의 모든 27,648개의 V100 GPU를 사용하여 전체 코어의 단일 유동 통과 시간이 6시간 이내로 달성되었으며, 이는 변수 분석에 대한 실용적 타당성을 입증하였다.
• 혼합 정밀도 산술을 사용한 2-Cheb-ASM 조절자 적용으로 기준 방법 대비 해답 시간이 4배 감소하였다.
• 27,648개의 GPU에서 강한 확장성 효율이 58%를 초과하였으며, 타원형 연산자 커널의 경우 V100당 1TFLOPS 이상의 성능가 유지되었다.
• 런타임 적응형 통신 전략은 특히 복잡한 다중격자 반복에서 AMG 조절자 커널에서 성능을 최대 4배 향상시켰다.
• 약 250만 개의 그리드 포인트당 V100당 80%의 병렬 효율을 달성하여, 대규모 시스템에서의 강한 확장성 확인하였다.