[논문 리뷰] Parallel Algorithms for Constructing Data Structures for Fast Multipole Methods

Qi Hu, Nail A. Gumerov외 1명|arXiv (Cornell University)|2013. 01. 08.

Electromagnetic Scattering and Analysis참고 문헌 21인용 수 3

한 줄 요약

이 논문은 빠른 다체 방법(Fast Multipole Methods, FMM)에서 데이터 구조를 구축하기 위한 새로운 병렬 알고리즘을 제안하며, CPU, GPU, 분산 이종 시스템에서 효율적인 O(N) 구축을 가능하게 한다. 이 방법은 GPU에서 20–100×의 성능 향상을 달성하고, 여러 노드 간 강한 확장성을 보이며, 동적 입자 분포를 가진 대규모 FMM 시뮬레이션에서 데이터 구조 오버헤드를 크게 감소시킨다.

ABSTRACT

We present efficient algorithms to build data structures and the lists needed for fast multipole methods. The algorithms are capable of being efficiently implemented on both serial, data parallel GPU and on distributed architectures. With these algorithms it is possible to map the FMM efficiently on to the GPU or distributed heterogeneous CPU-GPU systems. Further, in dynamic problems, as the distribution of the particles change, the reduced cost of building the data structures improves performance. Using these algorithms, we demonstrate example high fidelity simulations with large problem sizes by using FMM on both single and multiple heterogeneous computing facilities equipped with multi-core CPU and many-core GPUs.

연구 동기 및 목표

• 변경되는 입자 분포를 가진 동적 시뮬레이션에서 주요 성능 저하 요인인 FMM 데이터 구조 구축의 계산 비용을 줄이기 위해.
• 이종 CPU-GPU 아키텍처와 분산 시스템에서 FMM 데이터 구조의 효율적이고 확장 가능한 구축을 가능하게 하기 위해.
• 전체 FMM 계산에 비해 무시할 만할 정도로 작아지도록 데이터 구조 구축의 시간 복잡도를 O(N)으로 달성하기 위해.
• 다중 노드 간 작업 분배를 균형 있게 하고 분산 FMM 구현에서 통신 오버헤드를 최소화하기 위해.
• 단일 및 다중 노드 이종 컴퓨팅 환경에서의 최적화를 통해 고정밀도 대규모 시뮬레이션을 지원하기 위해.

제안 방법

• 근접 및 원거리 상호작용을 관리하기 위해 잘 분리된 쌍 분해(WSPD)를 사용한 옥트리 기반 공간 데이터 구조의 병렬 알고리즘을 제안한다.
• GPU에 최적화된 FMM 데이터 구조 구축 구현을 도입하여 CPU 단독 버전 대비 20–100×의 성능 향상을 달성한다.
• 공간 상자들을 노드에 할당하는 분산 알고리즘을 개발하며, 작업 균형을 유지하고 상자 수입/수출을 위한 데이터 매니저를 통해 통신을 최소화한다.
• 다수의 노드 시스템에서의 병목 현상을 줄이기 위해 다대다 통신 모델을 사용하며, 각 노드가 자체 통신 대상을 계산한다.
• 옥트리 및 이웃 목록 구축과 함께 상자 유형 계산을 통합하여 전체 데이터 구조 비용을 감소시킨다.
• P2M(입자에서 다중극), M2M(다중극에서 다중극), M2L(다중극에서 국소), L2P(국소에서 입자), 그리고 최종 합산 단계를 포함한 계층적 다수준 FMM 프레임워크를 사용하며, 모든 단계를 병렬 데이터 구조 구축을 통해 가속화한다.

실험 결과

연구 질문

• RQ1 GPU 및 다중 CPU-GPU 분산 시스템에서 FMM 데이터 구조 구축을 효율적으로 병렬화하여, 전체 FMM 시간에 비해 무시할 만큼 작은 비율로 O(N) 비용을 낮출 수 있는가?
• RQ2 특히 동적 입자 분포 하에서, 제안된 병렬 데이터 구조 구축의 성능은 여러 GPU 및 노드 간에 어떻게 확장되는가?
• RQ3 통신 오버헤드와 작업 불균형은 분산 FMM 데이터 구조 구축의 확장성에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 최소한의 통신 비용과 균형 잡힌 CPU-GPU 작업 분배를 통해 강한 확장성을 달성할 수 있는가?
• RQ5 다른 데이터 구조와 함께 상자 유형 계산을 통합할 경우 전체 성능과 확장성에 어떤 영향을 미치는가?

주요 결과

• 제안된 병렬 알고리즘은 FMM 데이터 구조 구축에 대해 O(N) 시간 복잡도를 달성하여 대규모 시뮬레이션에 대해 확장 가능하고 효율적이다.
• GPU 가속을 통한 데이터 구조 구축은 CPU 단독 구현 대비 20–100×의 성능 향상을 보이며, 전체 FMM 시간에 대한 데이터 구조 단계 기여도를 크게 감소시킨다.
• 1–32개 GPU를 사용하는 다수의 노드에서 강한 확장성이 입증되었으며, GPU 작업이 병목이 되는 경우 1600만 및 800만 문제 크기에서 거의 완벽한 확장성이 나타났다.
• 데이터 매니저의 통신 오버헤드는 총 시간의 1–15%에 불과하여, 커널 평가가 지배적인 대규모 문제에서는 무시할 만하다.
• 분산 시스템에서 양호한 작업 균형이 달성되었으며, 각 노드에 두 개의 GPU를 사용할 경우 CPU와 GPU 작업 분배가 균형을 이루며 최적 성능을 발휘했다.
• 다수 대 다수 통신 모델을 통해 통신 병목 현상이 완화되었으며, 각 노드가 자체 통신 대상을 계산함으로써 향후 더 나은 통신 패턴 개선을 통해 트래픽을 추가로 감소시킬 수 있다.