[논문 리뷰] GRACOS: Scalable and Load Balanced P3M Cosmological N-body Code

Alexander Shirokov, Edmund Bertschinger|arXiv (Cornell University)|2005. 05. 05.

Scientific Research and Discoveries참고 문헌 3인용 수 3

한 줄 요약

GRACOS는 분산 메모리 클러스터를 위한 확장 가능하고 로드 밸런스가 이루어진 P3M 천체역학 N-body 코드로, 장거리 힘(푸리에 기반 메쉬)에 대해 정적 1차원 슬래브 분할을, 단거리 힘(직접 합산)에 대해 동적 힐베르트 곡선 기반 도메인 분할을 결합한다. $800^3$ 시뮬레이션에서 80개 프로세서까지 근사 최적의 로드 밸런스와 강한 확장성을 달성하였으며, 극도로 비균일한 질량 분포 조건에서도 효과를 입증하였다.

ABSTRACT

We present a parallel implementation of the particle-particle/particle-mesh (P3M) algorithm for distributed memory clusters. The GRACOS (GRAvitational COSmology) code uses a hybrid method for both computation and domain decomposition. Long-range forces are computed using a Fourier transform gravity solver on a regular mesh; the mesh is distributed across parallel processes using a static one-dimensional slab domain decomposition. Short-range forces are computed by direct summation of close pairs; particles are distributed using a dynamic domain decomposition based on a space-filling Hilbert curve. A nearly-optimal method was devised to dynamically repartition the particle distribution so as to maintain load balance even for extremely inhomogeneous mass distributions. Tests using $800^3$ simulations on a 40-processor beowulf cluster showed good load balance and scalability up to 80 processes. We discuss the limits on scalability imposed by communication and extreme clustering and suggest how they may be removed by extending our algorithm to include adaptive mesh refinement.

연구 동기 및 목표

• 기존 P3M 구현의 한계를 극복하기 위해, 분산 메모리 클러스터, 특히 Beowulf 클러스터를 대상으로 메시지 전달 기반 P3M N-body 코드를 개발한다.
• 극도로 비균일한 질량 분포를 가진 N-body 시뮬레이션에서의 로드 불균형 문제를 해결한다.
• 하이브리드 도메인 분할 전략을 통해 천체역학 시뮬레이션에서 강한 확장성과 근사 최적의 로드 밸런스를 달성한다.
• 푸리에 기반 장거리 힘 계산과 직접 단거리 힘 계산을 조합하여 고역반경을 가진 대규모 천체역학 시뮬레이션을 효율적으로 가능하게 한다.

제안 방법

• 프로세스 간 입자-메쉬(PL) 힘 계산을 위한 정적 1차원 슬래브 분할을 사용하여, 효율적인 FFT 기반 장거리 힘 계산을 가능하게 한다.
• 공간 국소성을 유지하는 동적 도메인 분할을 위해 힐베르트 공간 충만 곡선 기반 기법을 활용하여 입자를 분배한다.
• 입자의 군집화가 시간에 따라 변화함에 따라도 로드 밸런스를 유지하기 위해 힐베르트 곡선 인덱스를 기반으로 동적으로 입자를 재분배한다.
• 입자 위치를 힐베르트 곡선 인덱스로 매핑하여 효율적이고 국소성을 유지하는 도메인 분할을 가능하게 하고, 통신 오버헤드를 감소시킨다.
• 메쉬에 대한 분산 FFT를 위해 FFTW 라이브러리를 사용하며, 각 프로세스가 메쉬의 슬래브를 담당하여 통신을 최소화한다.
• 반복적인 비용이 큰 힐베르트 곡선 함수 호출을 피하기 위해, 반복적인 함수 호출 대신 직접 배열 인덱싱을 우선시하는 메모리 접근 패턴을 구성한다.

실험 결과

연구 질문

• RQ1 극도로 입자 군집화가 심한 조건에서, 분산 메모리 Beowulf 클러스터에서 P3M N-body 코드를 어떻게 효율적으로 병렬화하여 로드 밸런스를 유지할 수 있는가?
• RQ2 시간에 따라 변화하는 비균일한 입자 분포를 가진 천체역학 N-body 시뮬레이션에서 로드 불균형을 최소화하기 위한 최적의 동적 도메인 분할 전략은 무엇인가?
• RQ3 정적 메쉬 분할과 동적 입자 분할을 조합한 하이브리드 접근 방식이 대규모 천체역학 시뮬레이션에서 강한 확장성을 달성할 수 있는가?
• RQ4 다른 공간 충만 곡선과 비교할 때, 힐베르트 곡선 기반 입자 분포 방식은 로드 밸런스와 통신 효율성 측면에서 어떤가?
• RQ5 현재 P3M 알고리즘의 통신 및 확장성 한계는 무엇이며, 적응형 메쉬 정밀도 향상 기법을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• GRACOS는 40노드 Beowulf 클러스터에서 $800^3$ 시뮬레이션에서 80개 프로세서까지 양호한 로드 밸런스와 강한 확장성을 달성하였다.
• 극도로 비균일한 질량 군집화 조건에서도 동적 힐베르트 곡선 기반 입자 분할 전략이 효과적으로 로드 밸런스를 유지하였으며, 프로세서 간의 유휴 시간을 최소화하였다.
• 입자의 변화하는 공간 분포를 기반으로 동적으로 입자를 재분배함으로써 거의 최적의 로드 밸런싱을 달성하였다.
• 힐베르트 곡선 매핑을 통해 효율적이고 국소성을 유지하는 도메인 분할이 가능해져 통신 비용을 감소시키고 캐시 성능을 향상시켰다.
• m=9일 때 힐베르트 곡선 함수 호출(hilbert_c2i)의 CPU 시간은 약 1.056 나노초였으며, 이는 삼중 배열 간접 참조보다 약 120배 느린 수준이지만, 반복 호출을 최소화함으로써 성능이 최적화되었다.
• 정적 메쉬 분할과 동적 입자 분할을 조합한 하이브리드 방법은 계산 부하를 효과적으로 균형 잡으면서도 높은 확장성과 효율성을 확보하였다.