[论文解读] A Performance Model for the Communication in Fast Multipole Methods on HPC Platforms

Huda Ibeid, Rio Yokota+1 more|arXiv (Cornell University)|May 25, 2014

Electromagnetic Scattering and Analysis参考文献 28被引用 3

一句话总结

本文提出了一种用于高性能计算（HPC）平台上快速多极方法（FMM）节点间通信的增强型性能模型，综合考虑了延迟、带宽、网络跳数及多核惩罚因素。该模型在三种不同的HPC系统——Shaheen、Mira和Titan上，通过真实测量数据验证，对通信时间的预测具有极高的准确性，是首个对FMM节点间通信进行完整硬件感知惩罚的正式表征。

ABSTRACT

Exascale systems are predicted to have approximately one billion cores, assuming Gigahertz cores. Limitations on affordable network topologies for distributed memory systems of such massive scale bring new challenges to the current parallel programing model. Currently, there are many efforts to evaluate the hardware and software bottlenecks of exascale designs. There is therefore an urgent need to model application performance and to understand what changes need to be made to ensure extrapolated scalability. The fast multipole method (FMM) was originally developed for accelerating N-body problems in astrophysics and molecular dynamics, but has recently been extended to a wider range of problems, including preconditioners for sparse linear solvers. It's high arithmetic intensity combined with its linear complexity and asynchronous communication patterns makes it a promising algorithm for exascale systems. In this paper, we discuss the challenges for FMM on current parallel computers and future exascale architectures, with a focus on inter-node communication. We develop a performance model that considers the communication patterns of the FMM, and observe a good match between our model and the actual communication time, when latency, bandwidth, network topology, and multi-core penalties are all taken into account. To our knowledge, this is the first formal characterization of inter-node communication in FMM, which validates the model against actual measurements of communication time.

研究动机与目标

• 解决在高达十亿核心的百亿亿次级HPC平台上，FMM节点间通信可扩展性日益增长的挑战。
• 识别在大规模分布式系统中，由于大规模并行性和网络限制导致的FMM性能瓶颈。
• 开发一个正式且经过验证的FMM通信性能模型，涵盖基本α-β模型之外的真实硬件约束。
• 通过在通信建模中引入距离效应、每核带宽降低以及多核惩罚，提升预测的精确度。
• 通过在真实HPC架构上的实证验证，实现对FMM在未来百亿亿次系统中性能的准确外推。

提出的方法

• 通过引入一个γ项，扩展标准的α-β通信模型，以反映节点间通信中的网络跳数和距离效应。
• 通过建模因竞争和内存层次结构限制导致的每核有效带宽降低，纳入多核惩罚因素。
• 利用来自三种HPC系统（Shaheen（BG/P）、Mira（BG/Q）和Titan（Cray XK7））的实测通信时间对模型进行校准。
• 将验证重点放在M2L（多极到局部）阶段，该阶段占FMM通信成本的主导地位。
• 结合理论分析与实测数据，优化模型参数，确保与实际系统行为一致。
• 将所提出的α-β-γ模型与更简单的模型进行比较，以分离各组件对预测精度的影响。

实验结果

研究问题

• RQ1 网络拓扑、延迟和带宽如何共同影响大规模HPC系统中FMM的节点间通信？
• RQ2 多核惩罚和每核带宽退化在多大程度上扭曲了FMM通信性能的预测结果？
• RQ3 一个包含跳数（γ）、延迟（α）、带宽（β）及多核惩罚的统一性能模型，能否准确预测在多种HPC平台上的FMM通信时间？
• RQ4 为何M2L阶段在消息大小相同的情况下表现出显著更高的通信时间，且该现象能否被模型捕捉？
• RQ5 与基本的α-β模型相比，引入硬件特定约束如何提升模型的精确度？

主要发现

• 包含多核惩罚的α-β-γ模型在所有三种测试的HPC系统（Shaheen、Mira和Titan）中，与实测通信时间的匹配度最佳。
• 理论与实测带宽之间最大的偏差归因于反向带宽校正，凸显了有效带宽建模的重要性。
• 在8192个进程下，M2L阶段从第5层到第6层的通信时间增加了10倍，尽管消息大小相同，而γ项成功捕捉到了这一现象。
• 实测时间中较大的误差棒表明存在显著的负载不平衡，尤其在Titan上更为明显，凸显了运行时可变性在性能预测中的关键作用。
• 该模型优于不包含多核惩罚的简单α-β和α-β-γ模型，证明了每核带宽退化是FMM可扩展性中的关键因素。
• 据作者所知，本工作首次对FMM的节点间通信进行了正式的实证表征，并在多种架构上通过真实测量进行了验证。