[논문 리뷰] PKDGRAV3: Beyond Trillion Particle Cosmological Simulations for the Next Era of Galaxy Surveys

Douglas M. Potter, Joachim Stadel외 1명|arXiv (Cornell University)|2016. 09. 27.

Scientific Research and Discoveries인용 수 8

한 줄 요약

PKDGRAV3는 GPU 가속 노드를 활용하여 Piz Daint에서 80시간 이내에 2조 개 입자 천체역학 시뮬레이션을 수행함으로써, 처음으로 2조 개 입자에 이르는 천체역학 시뮬레이션을 실현하였다. 이는 빠른 다중체 방법(Fast Multipole Method)과 적응형 시간 단계를 기반으로 하며, 피크 성능 10 페타플롭스를 달성하였고, 향후 8조 개 입자 시뮬레이션의 가능성도 입증하여, 차세대 은하 순찰을 위한 핵심적인 대규모 N체 시뮬레이션의 시간-해결 성능 기준을 새롭게 설정하였다.

ABSTRACT

We report on the successful completion of a 2 trillion particle cosmological simulation to z=0 run on the Piz Daint supercomputer (CSCS, Switzerland), using 4000+ GPU nodes for a little less than 80h of wall-clock time or 350,000 node hours. Using multiple benchmarks and performance measurements on the US Oak Ridge National Laboratory Titan supercomputer, we demonstrate that our code PKDGRAV3, delivers, to our knowledge, the fastest time-to-solution for large-scale cosmological N-body simulations. This was made possible by using the Fast Multipole Method in conjunction with individual and adaptive particle time steps, both deployed efficiently (and for the first time) on supercomputers with GPU-accelerated nodes. The very low memory footprint of PKDGRAV3 allowed us to run the first ever benchmark with 8 trillion particles on Titan, and to achieve perfect scaling up to 18000 nodes and a peak performance of 10 Pflops.

연구 동기 및 목표

• 향후 은하 순찰의 정확성 요구 사항을 충족시키기 위해 2조 개 입자를 초월하는 초대규모 천체역학 시뮬레이션을 가능하게 하기 위해.
• 대규모 N체 시뮬레이션의 시간-해결 성능을 줄여 반복적인 천체역학 분 析 파이프라인에서 실현 가능하게 하기 위해.
• Piz Daint 및 Titan과 같은 현대 GPU 가속 슈퍼컴퓨터에서의 확장성과 성능을 입증하기 위해.
• 선형에서 매우 비선형 영역에 걸쳐 물질 파wer 스펙트럼 예측의 정확도를 1% 이내로 확보하기 위해.
• 미래의 어둠 energetic 에너지 및 다른 중력 모델 이론적 모델링을 위한 8조 개 입자 시뮬레이션의 실현 가능성을 확립하기 위해.

제안 방법

• N체 시뮬레이션에서 효율적인 O(N log N) 중력 계산을 위해 빠른 다중체 방법(Fast Multipole Method)의 구현.
• 에너지 보존을 향상시키고 계산 부담을 줄이기 위해 개별적이고 적응형 입자 시간 단계의 도입.
• 메모리 피드백을 최소화하면서 GPU 가속 슈퍼컴퓨터를 위한 코드 최적화.
• 후처리 필요성을 줄이고 시뮬레이션 출력을 간소화하기 위해 실시간 분석 사용.
• Titan(ORNL)과 Piz Daint(CSCS)에서의 벤치마킹을 통해 18,000개 노드에서의 성능 및 확장성 검증.
• 알고리즘과 하드웨어의 공동 설계를 통해 무어의 법칙을 초월한 성능 향상을 유지하기 위해.

실험 결과

연구 질문

• RQ1 현대 GPU 기반 슈퍼컴퓨터에서 2조 개 입자 천체역학 N체 시뮬레이션을 80시간 이내로 완료할 수 있는가?
• RQ2 Titan에서 18,000개 GPU 노드에서 PKDGRAV3가 보이는 성능 및 확장 특성은 무엇인가?
• RQ3 FMM과 적응형 시간 단계의 조합이 초대규모 시뮬레이션의 정확성과 효율성에 어떻게 기여하는가?
• RQ4 메모리 피드백과 시간-해결 성능를 얼마나 줄일 수 있는가? 이를 통해 8조 개 입자를 초월하는 시뮬레이션을 가능하게 할 수 있는가?
• RQ5 이러한 시뮬레이션은 향후 은하 순찰을 위한 데이터 분석 파이프라인에 통합되어 기존의 후처리 방식을 대체할 수 있는가?

주요 결과

• Piz Daint의 4,000개 GPU 노드에서 2조 개 입자 천체역학 시뮬레이션을 성공적으로 79.5시간의 월드클록 시간 내에 완료하였다.
• Titan 슈퍼컴퓨터의 18,000개 노드에서 피크 성능 10 페타플롭스를 달성하였으며, 이는 완벽한 스케일링을 보여주었다.
• Titan에서 8조 개 입자 벤치마크를 성공적으로 실행하여, 2조 개 입자를 초월하는 시뮬레이션의 실현 가능성을 확인하였다.
• 18,000개 노드까지 우수한 강한 확장성(Strong scaling)을 달성하였으며, 이론적 예측과 성능이 일치하였다.
• Titan에서 1조 개 입자 시뮬레이션의 시간-해결 성능가 10시간 이내로 감소하여, 향후 10년 내에 8시간 이내 실행이 가능할 가능성도 제기되었다.
• 노드 성능 저하 및 GPU 작업 처리 실패와 같은 두 가지 일시적인 하드웨어 문제를 식별하고 대응하였으며, 총 실행 시간에 미치는 영향은 최소한이었다.