[논문 리뷰] Modern Gyrokinetic Particle-In-Cell Simulation of Fusion Plasmas on Top Supercomputers

Bei Wang, S. Ethier외 5명|arXiv (Cornell University)|2015. 10. 19.

Magnetic confinement fusion research참고 문헌 26인용 수 5

한 줄 요약

이 논문은 초고성능 슈퍼컴퓨터를 위한 엑사스케일 수준의 확장성과 현대화된 고속 입자-격자(PI-Cell) 코드인 GTC-P를 제시한다. 이는 fusion 플라즈마에서 이온 온도 기울기 난류의 사전에 없던 5차원 시뮬레이션을 가능하게 한다. 2D 도메인 분할, 고도의 스레드 수준 최적화, 이질적 가속기 지원(GPU 및 Xeon Phi)을 도입함으로써 GTC-P는 다양한 HPC 아키텍처에서 극한의 확장성과 성능을 달성하여, 이전 코드보다 낮은 운반 수준을 보이는 ITER 규모 플라즈마의 장기적·고해상도 시뮬레이션을 가능하게 한다.

ABSTRACT

The Gyrokinetic Toroidal Code at Princeton (GTC-P) is a highly scalable and portable particle-in-cell (PIC) code. It solves the 5D Vlasov-Poisson equation featuring efficient utilization of modern parallel computer architectures at the petascale and beyond. Motivated by the goal of developing a modern code capable of dealing with the physics challenge of increasing problem size with sufficient resolution, new thread-level optimizations have been introduced as well as a key additional domain decomposition. GTC-P's multiple levels of parallelism, including inter-node 2D domain decomposition and particle decomposition, as well as intra-node shared memory partition and vectorization have enabled pushing the scalability of the PIC method to extreme computational scales. In this paper, we describe the methods developed to build a highly parallelized PIC code across a broad range of supercomputer designs. This particularly includes implementations on heterogeneous systems using NVIDIA GPU accelerators and Intel Xeon Phi (MIC) co-processors and performance comparisons with state-of-the-art homogeneous HPC systems such as Blue Gene/Q. New discovery science capabilities in the magnetic fusion energy application domain are enabled, including investigations of Ion-Temperature-Gradient (ITG) driven turbulence simulations with unprecedented spatial resolution and long temporal duration. Performance studies with realistic fusion experimental parameters are carried out on multiple supercomputing systems spanning a wide range of cache capacities, cache-sharing configurations, memory bandwidth, interconnects and network topologies. These performance comparisons using a realistic discovery-science-capable domain application code provide valuable insights on optimization techniques across one of the broadest sets of current high-end computing platforms worldwide.

연구 동기 및 목표

• ITER와 같은 대규모 fusion 플라즈마를 시뮬레이션할 때 기존 고속 입자-격자(PI-Cell) 코드의 확장성과 성능 한계를 해결하기 위해.
• 기존 1D 도메인 분할에서 발생하는 메모리 병목 현상을 해결하기 위해, 반경 방향과 토로이드 방향에 걸쳐 새로운 2D 도메인 분할을 도입하기 위해.
• GPU 및 Xeon Phi 가속기와 같은 이질적 시스템을 포함한 현대 슈퍼컴퓨팅 아키텍처를 활용해 토카막에서의 마이크로난류에 대한 장기적·고해상도 시뮬레이션을 가능하게 하기 위해.
• PIC 워크로드에 대한 메모리 대역폭, 캐시 계층, 인터커넥트 영향을 분석하여 다양한 HPC 플랫폼에서의 성능 최적화를 위해.
• 자기장 fusion 에너지 분야의 발견 과학을 지원하기 위해, 사전에 없던 공간 해상도와 시간 지속성을 갖춘 시뮬레이션을 가능하게 하기 위해.

제안 방법

• 반경 방향과 토로이드 방향에 걸쳐 2D 도메인 분할을 구현하여 각 프로세스의 메모리 사용량을 줄이고 로드 밸런싱을 향상시키기 위해.
• 각 도메인 내에서 입자 분할을 도입하여 로드 밸런싱을 유지하고 수천 개의 컴퓨팅 노드에서 강한 스케일링을 가능하게 하기 위해.
• CPU 아키텍처에서 내부 노드 최적화를 위해 OpenMP를 활용한 공유 메모리 병렬 처리와 벡터화를 수행하기 위해.
• 핵심 커널을 NVIDIA GPU와 Intel Xeon Phi 공처리기로 이식하기 위해 각각 CUDA와 오프로드 지시어를 사용하여 데이터 수준 및 스레드 수준 병렬 처리를 활용하기 위해.
• 분산 메모리 통신을 위해 양방향 MPI를 사용하고, 대규모 시스템에서의 확장성을 향상시키기 위해 향후 one-sided MPI(MPI-3.0)로 이전 계획을 수립하기 위해.
• 장기 시뮬레이션을 안정화하기 위해 수치적 소산을 적용하여 이전의 열은하 모델을 대체함으로써 에너지 보존을 향상시키고 인위적 운반을 감소시키기 위해.

실험 결과

연구 질문

• RQ1 1D 분할에 비해 2D 도메인 분할이 5D 고속 입자-격자(PI-Cell) 시뮬레이션에서 메모리 확장성과 성능에 어떤 영향을 미치는가?
• RQ2 특히 메모리 대역폭, 데이터 이동, PCIe 오버헤드 측면에서 현대의 이질적 슈퍼컴퓨터에서 PIC 코드의 성능 병목 요소는 무엇인가?
• RQ3 캐시 계층, 메모리 대역폭, 인터커넥트 토폴로지와 같은 시스템 수준의 요소들이 다양한 HPC 플랫폼에서 고속 입자 시뮬레이션의 성능에 어떤 영향을 미치는가?
• RQ4 GTC-P가 페타스케일 및 엑사스케일 시스템에서 고해상도와 장기 시뮬레이션을 유지하면서 강한 스케일링을 얼마나 달성할 수 있는가?
• RQ5 수치적 안정화 방법(예: 수치적 소산 vs. 열은하 모델)의 차이가 장기적인 마이크로난류 시뮬레이션에서 운반 수준과 에너지 보존에 어떤 영향을 미치는가?

주요 결과

• GTC-P는 Mira 슈퍼컴퓨터에서 최대 32,768개의 컴퓨팅 노드까지 스케일링에 성공하여 표준 구성의 1000배 이상의 소용돌이 반경을 가진 플라즈마 장치의 시뮬레이션을 가능하게 하였다.
• 2D 도메인 분할은 각 프로세스의 메모리 요구량을 크게 감소시켜 고해상도로 ITER 규모 플라즈마의 시뮬레이션을 가능하게 하였다.
• GPU 및 Xeon Phi 공처리기에서의 성능는 STREAM 대역폭 예측보다 현저히 낮았는데, 이는 데이터 국소성, 동기화, PCIe 전송 오버헤드 때문이었다.
• 네트워크 성능는 대규모 시뮬레이션에서 결정적인 병목 요소로 나타났으며, 특히 장기 실행 시에 두드러져 인터커넥트 효율성의 중요성을 강조하였다.
• GTC-P 시뮬레이션에서 시간 평균 열전도도는 큰 플라즈마 크기에서 운반 수준이 점진적으로 '역전'되는 경향을 보였고, 이는 이전의 저해상도 시뮬레이션보다 훨씬 낮은 크기를 보였다. 이는 고해상도 영역에서 운반이 감소했음을 시사한다.
• 열은하 모델 대신 수치적 소산을 사용함으로써 더 정확한 장기 에너지 보존과 낮은 인위적 운반을 달성하였지만, 운반 수준의 차이가 발생하는 정확한 원인은 아직 조사 중이다.