[논문 리뷰] High-Performance Small-Scale Simulation of Star Clusters Evolution on Cray XD1

Keigo Nitadori, Junichiro Makino외 1명|arXiv (Cornell University)|2006. 06. 06.

Advanced Data Storage Technologies참고 문헌 1인용 수 5

한 줄 요약

이 논문은 크레이 XD1에서 개별 타임스텝 통합을 사용한 직접 N체 시뮬레이션을 위한 고도로 스케일러블한 2차원 병렬화 기법을 제시하며, 64k개 항성 클러스터 시뮬레이션에서 2.03 Tflops(이론적 피크 성능의 57.7%)를 달성하여 O(N^3.3) 스케일링 복잡도를 가지는 소규모 N 체 천체물리 문제에 있어 사상 초월의 성능 효율성을 입증한다.

ABSTRACT

In this paper, we describe the performance of an $N$-body simulation of star cluster with 64k stars on a Cray XD1 system with 400 dual-core Opteron processors. A number of astrophysical $N$-body simulations were reported in SCxy conferences. All previous entries for Gordon-Bell prizes used at least 700k particles. The reason for this preference of large numbers of particles is the parallel efficiency. It is very difficult to achieve high performance on large parallel machines, if the number of particles is small. However, for many scientifically important problems the calculation cost scales as $O(N^{3.3})$, and it is very important to use large machines for relatively small number of particles. We achieved 2.03 Tflops, or 57.7% of the theoretical peak performance, using a direct $O(N^2)$ calculation with the individual timestep algorithm, on 64k particles. The best efficiency previously reported on similar calculation with 64K or smaller number of particles is 12% (9 Gflops) on Cray T3E-600 with 128 processors. Our implementation is based on highly scalable two-dimensional parallelization scheme, and low-latency communication network of Cray XD1 turned out to be essential to achieve this level of performance.

연구 동기 및 목표

• 소규모 N 체 시뮬레이션에서 O(N^3.3) 스케일링을 가지는 천체물리 문제에 핵심적인 영향을 미치는 대규모 병렬 시스템에서 높은 병렬 효율성과 절대적 성능을 달성하기 위해.
• 소규모 N 시스템에서 열악한 강한 스케일링 문제를 해결하기 위해 직접 N체 시뮬레이션을 위한 스케일러블하고 통신 최적화된 알고리즘을 설계하기 위해.
• 기존 고성능 계산에서 대규모 N 시뮬레이션을 선호하는 경향이 있음에도 불구하고, 현대 MPP 시스템이 소규모 N 시뮬레이션(예: 64k 입자)을 고성능으로 효율적으로 처리할 수 있음을 입증하기 위해.
• 높은 프로세서 수에서 높은 지속 성능을 달성하여 실제 입자 수를 고려한 별 클러스터의 장기적이고 고정밀도 시뮬레이션을 가능하게 하기 위해.

제안 방법

• N체 시뮬레이션에서 통신 오버헤드를 최소화하고 로드 밸런스를 극대화하기 위해 2차원 블록 구조적 도메인 분할을 적용하였다.
• 다양한 궤도 주기스케일을 처리하기 위해 개별(블록) 타임스텝 알고리즘을 구현하여 총 타임스텝 수를 감소시키고 통합 정확도를 향상시켰다.
• 어셈블리 수준 최적화를 통해 산술 집중도를 극대화하고 메모리 지연을 최소화한 고도로 최적화된 力계산 커널을 활용하였다.
• 크레이 XD1의 저지연, 고대역폭 인터커넥트와 고도로 튜닝된 MPI 라이브러리를 활용하여 통신 병목 현상을 최소화하였다.
• 최대 800개 프로세서에 걸쳐 효율적인 로컬 통신과 확장 가능한 데이터 분포를 허용하는 2차원 프로세서 격자 레이아웃을 적용하였다.
• 근접 접촉 시 수치적 특이성을 방지하기 위해 ε = 4/N로 소프트닝된 중력 포텐셜을 사용하였다.

실험 결과

연구 질문

• RQ1 크레이 XD1와 같은 대규모 병렬 시스템에서 64k 입자로 구성된 직접 N체 시뮬레이션은 고성능과 강한 스케일링을 달성할 수 있는가?
• RQ2 내재된 통신 및 로드 불균형 문제로 인해 소규모 N 체 시뮬레이션에서 달성 가능한 병렬 효율성 수준은 무엇인가?
• RQ3 2차원 도메인 분할과 개별 타임스텝 통합의 조합이 현대 MPP 시스템에서 성능과 확장성에 어떤 영향을 미치는가?
• RQ4 O(N^2) 力계산 비용이 있음에도 불구하고, 소규모 N 시뮬레이션에서 높은 지속 성능(예: 이론적 피크의 50% 이상)을 달성할 수 있는가?

주요 결과

• 64k 입자에서 800개 프로세서(400개 듀얼코어 옵테론)에서 지속 성능 2.03 Tflops를 달성하여 크레이 XD1 시스템의 이론적 피크 성능의 57.7%를 기록하였다.
• 64k 입자에서 512개 프로세서까지 병렬 효율이 80%를 초월하여 소규모 N 시뮬레이션에서 사상적인 강한 스케일링 성능을 입증하였다.
• 16k 입자에서 256개 프로세서에서 이론적 피크 성능의 60%를 달성하여 유사 시스템에서의 이전 결과들(예: GRAPE-6에서 13%, Cray T3E에서 8%)을 크게 뛰어넘었다.
• 블록스텝당 통신 시간 평균이 179 μs로 매우 낮았으며, 이는 크레이 XD1의 저지연 네트워크와 최적화된 MPI 라이브러리 덕분이었고, 계산과 통신의 높은 오버랩을 가능하게 하였다.
• 전체 시뮬레이션은 26.4시간 동안 진행되었으며, 4.93×10^10개의 타임스텝과 1.94×10^17개의 부동소수점 연산을 수행하여 대규모에서 장기적이고 고정밀도 시뮬레이션의 가능성을 확인하였다.
• 2차원 병렬화 기법은 비최적화된 접근 방식 대비 통신 시간을 20배 감소시켜 성능을 500 Gflops 이하로 제한하는 것을 방지하였다.