[论文解读] A Multilevel Approach to Topology-Aware Collective Operations in Computational Grids

Nicholas T. Karonis, Bronis R. de Supinski+3 more|ArXiv.org|Jun 24, 2002

Distributed and Parallel Computing Systems参考文献 15被引用 23

一句话总结

本文提出一种多级拓扑感知方法，用于计算网格中的MPI集体通信操作，利用分层网络结构信息以最小化通过慢速链路的通信开销。通过在多个网络层级（如本地、集群和广域网）构建拓扑感知树，显著降低了跨层级通信成本，在MPI_Bcast及其他操作中优于标准的二项树和两层拓扑感知方法。

ABSTRACT

The efficient implementation of collective communiction operations has received much attention. Initial efforts produced "optimal" trees based on network communication models that assumed equal point-to-point latencies between any two processes. This assumption is violated in most practical settings, however, particularly in heterogeneous systems such as clusters of SMPs and wide-area "computational Grids," with the result that collective operations perform suboptimally. In response, more recent work has focused on creating topology-aware trees for collective operations that minimize communication across slower channels (e.g., a wide-area network). While these efforts have significant communication benefits, they all limit their view of the network to only two layers. We present a strategy based upon a multilayer view of the network. By creating multilevel topology-aware trees we take advantage of communication cost differences at every level in the network. We used this strategy to implement topology-aware versions of several MPI collective operations in MPICH-G2, the Globus Toolkit[tm]-enabled version of the popular MPICH implementation of the MPI standard. Using information about topology provided by MPICH-G2, we construct these multilevel topology-aware trees automatically during execution. We present results demonstrating the advantages of our multilevel approach by comparing it to the default (topology-unaware) implementation provided by MPICH and a topology-aware two-layer implementation.

研究动机与目标

• 为解决传统集体通信操作在异构、多级网络环境（如计算网格）中性能不佳的问题。
• 克服先前拓扑感知方法仅区分两层网络（如本地与广域网）的局限性。
• 设计并实现一种可扩展的、自动化的多级通信树构建方法，以最小化跨慢速通道的延迟。
• 将该方法集成到MPICH-G2中，实现无需修改应用程序代码的拓扑感知集体通信操作。
• 评估多级拓扑感知相对于标准实现和两层拓扑感知实现的性能提升。

提出的方法

• 使用环境变量识别共享同一本地网络的进程，替代先前基于域名的启发式方法。
• 用整数向量代替隐藏通信器，以表示多级集群，从而实现任意通信树的直接构建。
• 通过基于预期通信延迟将网络分层，构建拓扑感知树。
• 使用点对点操作在这些自定义树上实现集体通信操作（MPI_Bcast、MPI_Reduce、MPI_Barrier、MPI_Gather、MPI_Scatter）。
• 系统自动选择通信模式，以最小化最慢链路（特别是广域网之间链路）上的流量。
• 与MPICH-G2集成，后者使用Globus Toolkit服务支持在广域、异构环境中执行。

实验结果

研究问题

• RQ1 与两层或默认方法相比，多级网络抽象是否能提升广域计算网格中MPI集体通信操作的性能？
• RQ2 利用分层网络结构信息如何影响集体通信操作中的通信开销和可扩展性？
• RQ3 在多个网络层级上构建的拓扑感知树在多大程度上能减少跨集群或跨广域网通信？
• RQ4 该多级方法是否能高效地集成到现有MPI运行时系统中，而无需修改应用程序？
• RQ5 基于通信延迟特性，不同树结构（如二项树与更扁平的树）在不同网络层级上的表现如何？

主要发现

• 多级拓扑感知方法在MPI_Bcast中显著优于MPICH中的默认二项树实现，尤其在广域网格环境中。
• 与MagPIe的两层拓扑感知方法相比，多级方法通过利用更深层次的网络层次结构，进一步降低了跨层级通信开销。
• 使用整数向量替代隐藏通信器，实现了更高效、更灵活的树构建，避免了嵌套集体通信操作的开销。
• 该方法通过最小化跨慢速广域链路的消息数量实现性能提升，潜在地将跨集群通信开销降低至O(log N)。
• 初步结果表明，MPI_Bcast及其他集体通信操作均实现了可测量的性能提升，证明了多级感知相对于两层或无感知方法的价值。
• 该方法具有实际可行性和可部署性，仅需配置环境变量，无需修改MPI应用程序代码。