[论文解读] Asynchronous Execution of the Fast Multipole Method Using Charm++

Mustafa Abdulmajeed AbdulJabbar, Rio Yokota+1 more|arXiv (Cornell University)|May 29, 2014

Electromagnetic Scattering and Analysis参考文献 1被引用 5

一句话总结

本文提出了一种使用 Charm++ 的异步快速多极方法（FMM），以改善分布式内存 N 体模拟中的负载均衡和通信重叠。通过利用细粒度、数据驱动的任务划分和动态负载均衡，该方法在 10⁸ 个粒子的高非均匀 Plummer 分布上实现了超过 1,000× 的加速，尽管其串行性能显著优于传统方法，使得开销更难隐藏，但其性能仍优于传统的批量同步 FMM。

ABSTRACT

Fast multipole methods (FMM) on distributed mem- ory have traditionally used a bulk-synchronous model of com- municating the local essential tree (LET) and overlapping it with computation of the local data. This could be perceived as an extreme case of data aggregation, where the whole LET is communicated at once. Charm++ allows a much finer control over the granularity of communication, and has a asynchronous execution model that fits well with the structure of our FMM code. Unlike previous work on asynchronous fast N-body methods such as ChaNGa and PEPC, the present work performs a direct comparison against the traditional bulk-synchronous approach and the asynchronous approach using Charm++. Furthermore, the serial performance of our FMM code is over an order of magnitude better than these previous codes, so it is much more challenging to hide the overhead of Charm++.

研究动机与目标

• 通过实现更细粒度的异步任务执行，解决分布式内存 FMM 中批量同步通信的局限性。
• 评估类似 Charm++ 的数据驱动执行模型是否能有效隐藏高性能 FMM 代码中的通信延迟，这些代码的串行性能优于以往工作。
• 开发并验证一种新型分区方案，通过双树遍历解耦局部与全局树结构。
• 在不偏移问题规模的前提下，证明在三个数量级的问题规模范围内具有强可扩展性。
• 确认所提出的分区加权方案在多种粒子分布和非 2 的幂次核心数量下均能保持低负载不平衡。

提出的方法

• 采用 Charm++ 的异步、消息驱动执行模型，替代局部必要树（LET）的批量同步 MPI_Alltoallv 通信。
• 采用双树遍历方法，消除对全局键或立方体单元的需求，实现局部树与全局树的几何分离。
• 设计一种新型分区加权方案，利用公式 (1) 同时优化计算工作量和通信负载，实现各进程间的工作量均衡。
• 通过局部树与全局树结构上的独立性，简化树嫁接过程，将 FMM 代码与 Charm++ 集成。
• 在 1,025 个核心（非 2 的幂次）上执行强可扩展性测试，评估在挑战性进程分布下的性能表现。
• 在多个粒子分布（立方体、球体、Plummer）上，直接对比基于异步 Charm++ 的 FMM 与传统批量同步 FMM 的性能。

实验结果

研究问题

• RQ1 与批量同步通信相比，使用 Charm++ 的异步执行模型是否能有效减少高性能 FMM 中的通信瓶颈？
• RQ2 所提出的分区方案是否能在多种粒子分布和非 2 的幂次核心数量下保持低负载不平衡？
• RQ3 在串行性能优于以往工作一个数量级以上的情况下，异步模型在多大程度上能隐藏通信开销？
• RQ4 与标准方案相比，新的分区加权方案在不同分布下的负载均衡表现如何？
• RQ5 动态负载均衡、数据预取和数据流执行的结合是否能在三个数量级的问题规模范围内实现强可扩展性？

主要发现

• 使用 Charm++ 的异步 FMM 在 10⁸ 个粒子的高非均匀 Plummer 分布上实现了超过 1,000× 的加速，展现出卓越的性能提升。
• 尽管串行性能显著提升（使得通信开销更难隐藏），异步方法仍优于批量同步模型。
• 所提出的分区加权方案在所有测试分布（立方体、球体、Plummer）中均实现了相近的负载不平衡，表明其对分布类型的鲁棒性。
• 即使在 1,025 个核心（非 2 的幂次）上，负载不平衡依然保持较低水平，证实了分区方案在非理想进程数量下的有效性。
• 通过异步执行缓解了初始分区阶段的通信瓶颈，实现了在三个数量级问题规模范围内的强可扩展性。
• 双树遍历实现了局部树与全局树的清晰分离，简化了与 Charm++ 的集成，并降低了代码复杂度。