[논문 리뷰] A Performance Model for the Communication in Fast Multipole Methods on HPC Platforms

Huda Ibeid, Rio Yokota외 1명|arXiv (Cornell University)|2014. 05. 25.

Electromagnetic Scattering and Analysis참고 문헌 28인용 수 3

한 줄 요약

이 논문은 초고성능(HPC) 플랫폼에서 빠른 다중체법(Fast Multipole Method, FMM)의 노드 간 통신에 대한 향상된 성능 모델을 제안한다. 이 모델은 지연, 대역폭, 네트워크 홉 수, 다중코어 페널티를 통합하여, 샤헨, 마이라, 타이탄의 세 가지 다각도적인 HPC 시스템에서 실제 측정값과 비교하여 통신 시간을 강력하게 정확하게 예측한다. 이는 FMM의 노드 간 통신에 대해 종합적인 하드웨어 인식 페널티를 포함한 공식적인 특성화를 처음으로 수행한 것이다.

ABSTRACT

Exascale systems are predicted to have approximately one billion cores, assuming Gigahertz cores. Limitations on affordable network topologies for distributed memory systems of such massive scale bring new challenges to the current parallel programing model. Currently, there are many efforts to evaluate the hardware and software bottlenecks of exascale designs. There is therefore an urgent need to model application performance and to understand what changes need to be made to ensure extrapolated scalability. The fast multipole method (FMM) was originally developed for accelerating N-body problems in astrophysics and molecular dynamics, but has recently been extended to a wider range of problems, including preconditioners for sparse linear solvers. It's high arithmetic intensity combined with its linear complexity and asynchronous communication patterns makes it a promising algorithm for exascale systems. In this paper, we discuss the challenges for FMM on current parallel computers and future exascale architectures, with a focus on inter-node communication. We develop a performance model that considers the communication patterns of the FMM, and observe a good match between our model and the actual communication time, when latency, bandwidth, network topology, and multi-core penalties are all taken into account. To our knowledge, this is the first formal characterization of inter-node communication in FMM, which validates the model against actual measurements of communication time.

연구 동기 및 목표

• 엑사스케일 HPC 플랫폼에서 최대 10억 개의 코어를 지원하는 FMM의 노드 간 통신 확장성 문제를 해결한다.
• 대규모 분산 시스템에서의 극도로 높은 병렬성과 네트워크 제약으로 인한 FMM의 성능 저하 요인을 규명한다.
• 기본적인 α-β 모델을 초월하여 실제 하드웨어 제약 조건을 반영한 공식적이고 검증된 FMM 통신 성능 모델을 개발한다.
• 통신 모델링에 거리 효과, 코어 당 대역폭 감소, 다중코어 페널티를 통합하여 성능 예측 정밀도를 향상시킨다.
• 실제 HPC 아키텍처에서의 실험적 검증을 통해 미래의 엑사스케일 시스템에서 FMM의 성능을 정확하게 외삽할 수 있도록 한다.

제안 방법

• 노드 간 통신에서 네트워크 홉 수와 거리 효과를 반영하기 위해 표준 α-β 통신 모델에 γ 항을 추가한다.
• 콘텐션과 메모리 계층 구조 제약으로 인한 코어 당 유효 대역폭 감소를 모델링하여 다중코어 페널티를 통합한다.
• 샤헨(BG/P), 마이라(BG/Q), 타이탄(Cray XK7)의 세 HPC 시스템에서 측정된 통신 시간을 사용해 모델을 校정한다.
• 통신 비용이 가장 높은 M2L(multipole-to-local) 단계에 집중하여 검증한다.
• 이론적 분석과 실측 데이터의 조합을 통해 모델 파라미터를 정밀 조정하여 실제 시스템 동작과의 일치를 확보한다.
• 각 구성 요소의 예측 정확도에 미치는 영향을 분리하기 위해 제안된 α-β-γ 모델을 간단한 모델과 비교한다.

실험 결과

연구 질문

• RQ1 네트워크 토폴로지, 지연, 대역폭이 대규모 HPC 시스템에서 FMM의 노드 간 통신에 어떻게 종합적으로 영향을 미치는가?
• RQ2 다중코어 페널티와 코어 당 대역폭 저하 정도가 FMM의 통신 성능 예측을 얼마나 왜곡하는가?
• RQ3 화이트(γ), 지연(α), 대역폭(β), 다중코어 페널티를 모두 포함한 통합 성능 모델이 다양한 HPC 플랫폼에서 FMM 통신 시간을 정확하게 예측할 수 있는가?
• RQ4 메시지 크기가 동일한 데도 불구하고 M2L 단계에서 통신 시간이 비례하지 않게 증가하는 이유는 무엇이며, 이는 모델로 캡처할 수 있는가?
• RQ5 기본적인 α-β 모델에 비해 하드웨어 특화 제약 조건을 통합함으로써 성능 모델의 정밀도가 얼마나 향상되는가?

주요 결과

• 다중코어 페널티를 포함한 α-β-γ 모델이 테스트한 세 HPC 시스템(SHAHEEN, MIRA, TITAN) 전반에서 실제 통신 시간과 가장 높은 일치도를 보였다.
• 이론적 대역폭과 측정된 대역폭 간 최대 오차는 역대역폭 보정의 영향으로 기인한 것으로 분석되어, 유효 대역폭 모델링의 중요성을 입증했다.
• 8192개 프로세스에서 레벨 5에서 레벨 6로 전환할 때 메시지 크기가 동일한 데도 M2L 단계의 통신 시간이 10배 증가했으며, 이는 γ 항이 성공적으로 캡처했다.
• 실제 시간 측정에서 큰 오차 범위가 관찰되어 로드 불균형, 특히 타이탄에서 두드러진 것으로 나타나, 런타임 변동성이 성능 예측에 미치는 영향을 확인했다.
• 다중코어 페널티를 포함하지 않은 단순한 α-β 및 α-β-γ 모델보다 성능 예측이 뛰어나, FMM 확장성에 있어 코어 당 대역폭 저하가 핵심 요소임을 입증했다.
• 이 연구는 저자들에 따르면, 실측 데이터를 기반으로 한 여러 아키텍처에서의 FMM 노드 간 통신에 대한 공식적인 실험적 특성화를 처음으로 수행한 것이다.