[논문 리뷰] The Plasma Simulation Code: A modern particle-in-cell code with load-balancing and GPU support

K. Germaschewski, W. Fox외 6명|arXiv (Cornell University)|2013. 10. 29.

Lightning and Electromagnetic Phenomena참고 문헌 36인용 수 16

한 줄 요약

이 논문은 공간을 채우는 곡선을 사용한 동적 패치 기반 로드 밸런싱과 CUDA를 통한 네이티브 GPU 가속을 갖춘 현대적이고 모듈러한 입자-장(PI) 코드인 Plasma Simulation Code(psc)를 제시한다. Cray XK7 시스템에서 계산 작업을 효율적으로 분배하고 GPU 병렬 처리를 활용하여 6배 이상의 성능 향상을 달성함으로써, 엑사스케일 준비된 아키텍처에서 고해상도 운동론적 플라즈마 시뮬레이션을 가능하게 한다.

ABSTRACT

Recent increases in supercomputing power, driven by the multi-core revolution and accelerators such as the IBM Cell processor, graphics processing units (GPUs) and Intel's Many Integrated Core (MIC) technology have enabled kinetic simulations of plasmas at unprecedented resolutions, but changing HPC architectures also come with challenges for writing efficient numerical codes. This paper describes the Plasma Simulation Code (PSC), an explicit, electromagnetic particle-in-cell code with support for different order particle shape functions. We focus on two distinguishing feature of the code: patch-based load balancing using space-filling curves, and support for Nvidia GPUs, which achieves substantial speed-up of up to more than 6x on the Cray XK7 architecture compared to a CPU-only implementation.

연구 동기 및 목표

• 계산 도메인 간 입자 분포의 불균형으로 인한 대규모 운동론적 플라즈마 시뮬레이션의 성능 저하 문제를 해결한다.
• 다핵심 및 GPU 가속기와 같은 변화하는 HPC 아키텍처의 과제를 극복하기 위해 이식 가능하고 모듈러한 PIC 코드를 설계한다.
• 고도의 로드 밸런싱 및 하드웨어 특화 최적화를 통합하여 10,000개 이상의 코어와 수천 개의 GPU에서 효율적이고 확장 가능한 시뮬레이션을 가능하게 한다.
• 유연하고 확장 가능한 코드베이스를 통해 생산 수준의 과학 시뮬레이션과 새로운 알고리즘의 실험적 개발을 동시에 지원한다.
• 향후 Intel Xeon Phi와 같은 새로운 아키텍처로의 이식을 용이하게 하기 위해 모듈러하고 하드웨어 특화된 커널을 사용하며, OpenACC 같은 고수준 추상화로의 이행 가능성을 고려한다.

제안 방법

• 입자가 도메인을 가로질러 이동할 때도 로드 불균형을 최소화하기 위해 3차원 공간 패치를 프로세스 랭크에 매핑하는 데 공간을 채우는 곡선을 사용한 패치 기반 동적 로드 밸런싱 전략을 구현한다.
• 각 프로세스의 계산 능력을 고려하여 이질적인 컴퓨팅 자원을 반영하는 능력 기반 로드 밸런싱 알고리즘을 사용하여 패치를 할당한다.
• 입자 이동, 장 해소, 전류 침착에 대해 CUDA 기반 GPU 커널을 통합하여 Nvidia K20X GPU에서 막대한 병렬 처리를 가능하게 한다.
• 시뮬레이션 도메인을 공간 패치로 분할하고, 입자가 격자 내에서 이동함에 따라 런타임에서 패치를 동적으로 재분배하여 로드 밸런스를 유지한다.
• 선형, 2차 등 다양한 입자 형상 함수를 지원하여 수치 정확도를 향상시키면서도 계산 효율성을 유지한다.
• 새로운 알고리즘과 하드웨어 백엔드(예: Intel MIC 또는 향후 가속기)의 간편한 통합을 가능하게 하기 위해 모듈러한 C++ 컴포넌트로 코드를 설계한다.

실험 결과

연구 질문

• RQ1 고로 이동성이 높은 입자를 가진 입자-장 시뮬레이션에서 동적 로드 밸런싱을 효과적으로 구현하여 높은 성능을 유지할 수 있는가?
• RQ2 현대 슈퍼컴퓨터에서 전자기적 PIC 시뮬레이션의 성능을 GPU 가속이 얼마나 향상시킬 수 있는가?
• RQ3 모듈러하고 확장 가능한 코드베이스는 다양한 HPC 아키텍처에서 생산 수준의 시뮬레이션과 실험적 알고리즘 개발을 효율적으로 지원할 수 있는가?
• RQ4 공간을 채우는 곡선을 사용한 패치 기반 로드 밸런싱이 전통적인 도메인 분할 방식에 비해 로드 밸런싱 및 확장성 측면에서 어떻게 비교되는가?
• RQ5 대규모 플라즈마 시뮬레이션에서 GPU 가속과 지능적인 로드 밸런싱을 결합할 경우 어떤 성능 향상이 달성될 수 있는가?

주요 결과

• 입자가 도메인 전체를 크게 이동하더라도 공간을 채우는 곡선을 사용한 패치 기반 로드 밸런싱 알고리즘이 시뮬레이션 전반에 걸쳐 높은 계산 효율성을 유지한다.
• Nvidia K20X GPU를 사용할 경우 Cray XK7 노드에서 CPU 전용 실행 대비 지속적인 6배 이상의 속도 향상을 달성한다.
• 실시간 로드 측정 및 프로세스 능력에 기반한 패치 재할당 전략을 통해 동적 워크로드를 효과적으로 처리한다.
• psc의 모듈러한 설계 덕분에 GPU 커널의 원활한 통합이 가능하며, 향후 Intel Xeon Phi와 같은 다른 가속기로의 이식도 수월하다.
• 10,000개 이상의 CPU 코어와 수천 개의 GPU를 갖춘 시스템에서 강력한 확장성을 보이며, 엑사스케일 수준의 플라즈마 시뮬레이션에 적합하다.
• 동적 로드 밸런싱과 GPU 가속의 조합을 통해 전자, 이온 및 글로벌 스케일을 모두 포함하는 고해상도 다중 스케일 운동론적 시뮬레이션을 가능하게 한다.