[논문 리뷰] Astrophysical Particle Simulations on Heterogeneous CPU-GPU Systems

Naohito Nakasato, Go Ogiya외 3명|arXiv (Cornell University)|2012. 06. 06.

Scientific Research and Discoveries참고 문헌 50인용 수 8

한 줄 요약

이 논문은 고성능 천체 입자 시뮬레이션 코드인 OTOO를 제시한다. 이는 CPU-GPU 이종 시스템을 대상으로 오кт리 구조를 사용하여 최적화된 것으로, 힘 계산만 GPU로 이관하고 OpenCL 기반의 벡터화된 트리 순회, 작업 분할 및 정확도 제어를 통해 단일 노드 환경에서 경쟁력 있는 성능을 달성한다. 7970SB GPU에서 1단계당 3.20초의 성능을 기록하며, 최대 400만 개 입자를 포함한 백색왜성 병합 시뮬레이션을 가능하게 한다.

ABSTRACT

A heterogeneous CPU-GPU node is getting popular in HPC clusters. We need to rethink algorithms and optimization techniques for such system depending on the relative performance of CPU vs. GPU. In this paper, we report a performance optimized particle simulation code "OTOO", that is based on the octree method, for heterogenous systems. Main applications of OTOO are astrophysical simulations such as N-body models and the evolution of a violent merger of stars. We propose optimal task split between CPU and GPU where GPU is only used to compute the calculation of the particle force. Also, we describe optimization techniques such as control of the force accuracy, vectorized tree walk, and work partitioning among multiple GPUs. We used OTOO for modeling a merger of two white dwarf stars and found that OTOO is powerful and practical to simulate the fate of the process.

연구 동기 및 목표

• 현대의 이종 CPU-GPU HPC 클러스터를 대상으로 최적화된 고성능 입자 시뮬레이션 코드를 개발하기 위해.
• 기존의 트리 기반 알고리즘을 대대적으로 재구성하지 않고도 GPU 가속을 효율적으로 활용할 수 있는 방법을 해결하기 위해.
• 단일 노드 GPU 가속 시스템에서 폭발적인 별 병합, 예를 들어 백색왜성 충돌과 같은 스케일링 가능하고 생산 수준의 시뮬레이션을 가능하게 하기 위해.
• 특히 CPU 오버헤드를 최소화하면서 GPU 활용도를 극대화하는 방식으로 CPU와 GPU 간의 최적의 작업 분할을 탐색하기 위해.
• 특정 천체 물리 문제에서 기존의 MPP 기반 구현보다 성능과 효율성이 뛰어난 하이브리드 CPU-GPU 접근 방식이 성능 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• 효율적인 N-body 힘 계산을 위해 오кт리 방법을 채택하였으며, 트리 구축 및 순회는 CPU에서 관리하고, 힘 계산은 GPU로 이관하였다.
• 스택 기반 제약을 피하기 위해 OpenCL 기반의 연결 리스트 기반 트리 순회를 구현하여 복잡한 트리 구조의 영향을 받지 않는 민첩하고 확장 가능한 순회를 지원하였다.
• GPU에서 메모리 공유 최적화와 산술 강도 향상을 위해 SIMD 유사 연산을 사용한 벡터화된 트리 순회를 적용하여 힘 계산 동안 성능을 향상시켰다.
• 다중 GPU를 활용한 작업 분할을 위해 하이브리드 MPI-OpenMP 모델을 적용하여 다중 GPU 노드에서의 효율적 확장성을 확보하였다.
• 계산 부하를 줄이면서도 수치 정밀도를 유지하기 위해 적응형 연화와 입자 그룹화를 통한 정확도 제어를 적용하였다.
• SPH와 중력 계산을 통합된 프레임워크 내에서 처리하였으며, 계산 강도와 데이터 접근 패턴에 따라 각 구성요소에 대해 별도의 최적화를 수행하였다.

실험 결과

연구 질문

• RQ1 이종 CPU-GPU 시스템에서 오кт리 방법을 어떻게 효과적으로 병렬화할 수 있을까? 성능과 확장성의 최적화를 위해.
• RQ2 GPU와 CPU 간의 성능 비율이 크게 다를 경우, 하이브리드 시스템에서 최적의 작업 분할은 어떻게 이루어져야 할까?
• RQ3 단일 노드 GPU 가속 환경이 대규모 천체 물리 시뮬레이션에서 다중 노드 MPP 시스템과 비교해도 경쟁 가능한 성능을 달성할 수 있을까?
• RQ4 트리 순회 방법의 선택(예: 스택 기반 대비 연결 리스트 기반)이 GPU 가속 시스템에서 성능과 이식성에 어떤 영향을 미칠까?
• RQ5 벡터화, 작업 분할, 정확도 제어와 같은 최적화 기법 중에서 CPU-GPU 데이터 전송을 최소화하고 GPU 활용도를 극대화하는 데 가장 효과적인 것은 무엇일까?

주요 결과

• 7970SB GPU 구성에서 OTOO는 평균 1단계당 3.20초의 성능를 기록하였으며, Intel icpc 12.1.3로 컴파일한 경우 2.52초로, 단일 노드에서 매우 높은 효율성을 입증하였다.
• 7970SB에서의 효과적인 GPU 성능는 약 90 GFlops에 도달하였으며, 총 실행 시간 기반 추정치보다 훨씬 높아 GPU 계산 유닛의 높은 활용도를 시사한다.
• 중력 계산이 작업의 대부분을 차지하였으며(약 8×10⁹개 상호작용), 상호작용당 약 20 Flops가 소요되었고, SPH 상호작용은 덜 집중적이었으며(약 3×10⁸개 상호작용, 상호작용당 약 200 Flops).
• CPU는 단계 2와 5에서 계산적으로 주도적이었으며(각각 0.34초와 0.54초), 특히 큰 상태방정식(EOS) 표의 보간 계산으로 인해 오버헤드가 높아 향후 CPU 최적화가 필요함을 시사한다.
• 2090HP에서 4개의 GPU를 사용하여 4,096,000개 입자를 포함한 백색왜성 병합 시뮬레이션에 총 246시간이 소요되었으며, 이는 대규모 천체 물리 생산 런에 대한 실현 가능성을 보여준다.
• HA-PACS와 같은 GPU 중심 클러스터에서 양호한 확장성을 보였으며, N=1M 균일 구 시뮬레이션에서 이전의 GPU 최적화 트리 코드보다 성능 단위 시간당 뛰어난 성능을 기록하였다.