[논문 리뷰] 4.45 Pflops Astrophysical N-Body Simulation on K computer -- The Gravitational Trillion-Body Problem

Tomoaki Ishiyama, Keigo Nitadori외 1명|arXiv (Cornell University)|2012. 11. 19.

Computational Physics and Python Applications인용 수 12

한 줄 요약

이 논문은 K 컴퓨터를 사용하여 처음으로 중력적 트리리온-바디 시뮬레이션을 수행하며, 82,944개 노드에서 4.45 Pflops의 성능을 달성하였다. 짧은 거리 힘 계산을 위한 고도로 최적화된 중력 커널과 장거리 힘 계산을 위한 새로운 리레이는 메시지 통신 알고리즘을 사용하는 하이브리드 트리PM 방법을 적용하여 확장 가능한 성능과 대규모에서 42%의 효율성을 달성하였다.

ABSTRACT

As an entry for the 2012 Gordon-Bell performance prize, we report performance results of astrophysical N-body simulations of one trillion particles performed on the full system of K computer. This is the first gravitational trillion-body simulation in the world. We describe the scientific motivation, the numerical algorithm, the parallelization strategy, and the performance analysis. Unlike many previous Gordon-Bell prize winners that used the tree algorithm for astrophysical N-body simulations, we used the hybrid TreePM method, for similar level of accuracy in which the short-range force is calculated by the tree algorithm, and the long-range force is solved by the particle-mesh algorithm. We developed a highly-tuned gravity kernel for short-range forces, and a novel communication algorithm for long-range forces. The average performance on 24576 and 82944 nodes of K computer are 1.53 and 4.45 Pflops, which correspond to 49% and 42% of the peak speed.

연구 동기 및 목표

• K 슈퍼컴퓨터에서 일조리온 입자를 가진 첫 번째 중력적 N-바디 시뮬레이션을 수행하기 위해.
• 하이브리드 트리PM 알고리즘을 사용하여 대규모 천체물리학적 시뮬레이션에서 높은 성능과 확장성을 달성하기 위해.
• 이전의 대규모 시뮬레이션에서 전통적인 트리 알고리즘의 한계와 주기적 경계 조건의 비효율성 문제를 해결하기 위해.
• K 컴퓨터의 HPC-ACE 아키텍처에 최적화된 중력 커널과 통신 전략을 개발하기 위해.
• 어두운 물질을 포함한 천체 구조 형성 연구에 실용적인 시뮬레이션 시간을 제공하기 위해.

제안 방법

• 단거리 힘은 트리 알고리즘으로, 장거리 힘은 입자-메쉬(PM) 방법으로 계산하는 하이브리드 트리PM 알고리즘을 채택하였다.
• K 컴퓨터의 HPC-ACE 아키텍처에서 단거리 힘 계산을 위한 고도로 최적화된 중력 커널을 구현하였다.
• 장거리 힘 계산에서 지연 시간을 최소화하고 확장성을 향상시키기 위해 새로운 리레이는 메시지 통신 알고리즘을 개발하였다.
• 시뮬레이션 영역 전반에 걸쳐 균일한 신뢰성과 계산 효율성을 확보하기 위해 주기적 경계 조건을 사용하였다.
• 영역 분할과 입자 교환 및 로드 밸런싱을 적용하여 24,576에서 82,944개 노드에 걸쳐 작업을 분산하였다.
• 통신 오버헤드를 줄이기 위해 FFT 병렬화를 한 축으로 제한하고 리레이라는 메시지를 사용하였다.

실험 결과

연구 질문

• RQ1 페타스케일 슈퍼컴퓨터에서 일조리온 입자를 가진 중력적 N-바디 시뮬레이션을 고효율로 수행할 수 있는가?
• RQ2 K 컴퓨터에서 순수 트리 알고리즘과 비교할 때 하이브리드 트리PM 방법의 성능 및 확장성은 어떠한가?
• RQ3 대규모 시스템에서 장거리 힘 계산의 고성능을 달성하기 위해 필요한 통신 및 로드 밸런싱 전략은 무엇인가?
• RQ4 개방 경계 조건과 비교할 때 주기적 경계 조건의 사용이 시뮬레이션 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ5 대규모 N-바디 시뮬레이션에서 성능 저하 요인은 무엇이며, 현대 슈퍼컴퓨터에서 이를 어떻게 완화할 수 있는가?

주요 결과

• K 컴퓨터의 82,944개 노드에서 4.45 Pflops 성능을 달성하여 최대 성능의 42%를 기록하였다.
• 단거리 힘 계산은 각 힘 사이클에서 71%의 효율성을 달성하였으며, 이는 이론적 최대치에 비례하여 정규화하면 95%의 효율성과 동일하다.
• 장거리 힘 계산은 리레이라는 메시지 방법을 사용하여 통신 비용을 감소시키고, 제한된 FFT 프로세스 수에도 불구하고 높은 확장성을 달성하였다.
• 입자당 평균 상호작용 목록 길이가 약 2,300개로, 이는 주기적 경계 조건과 최적화된 그룹 크기 덕분에 이전 GPU 기반 시뮬레이션 대비 6배 작아졌다.
• 중력 커널은 72%의 효율성을 달성하여 HPC-ACE 아키텍처에 대한 높은 최적화를 입증하였다.
• 82,944개 노드에서 단계당 총 시뮬레이션 시간은 60.20초였으며, 이 중 45.82초는 단거리 힘 계산에 소요되었고, 6.74초는 장거리 힘 계산에 소요되었다.