[论文解读] Lossy Bulk Synchronous Parallel Processing Model for Very Large Scale Grids

Elankovan Sundararajan, Aaron Harwood+1 more|ArXiv.org|Nov 20, 2006

Distributed and Parallel Computing Systems参考文献 29被引用 5

一句话总结

本文提出了一种损耗性批量同步并行（L-BSP）模型，通过利用UDP实现高速通信（尽管存在丢包），在超大规模网格中优化性能。通过将丢包建模为基本参数并传输数据包的多个副本，作者证明了使用最优副本数量可显著提升加速比，尤其在高带宽、高延迟网络中，此时TCP性能表现较差。

ABSTRACT

The performance of a parallel algorithm in a very large scale grid is significantly influenced by the underlying Internet protocols and inter-connectivity. Many grid programming platforms use TCP due to its reliability, usually with some optimizations to reduce its costs. However, TCP does not perform well in a high bandwidth and high delay network environment. On the other hand, UDP is the fastest protocol available because it omits connection setup process, acknowledgments and retransmissions sacrificing reliable transfer. Many new bulk data transfer schemes using UDP for data transmission such as RBUDP, Tsunami, and SABUL have been introduced and shown to have better performance compared to TCP. In this paper, we consider the use of UDP and examine the relationship between packet loss and speedup with respect to the number of grid nodes. Our measurement suggests that packet loss rates between 5%-15% on average are not uncommon between PlanetLab nodes that are widely distributed over the Internet. We show that transmitting multiple copies of same packet produces higher speedup. We show the minimum number of packet duplication required to maximize the possible speedup for a given number of nodes using a BSP based model. Our work demonstrates that by using an appropriate number of packet copies, we can increase performance of parallel program.

研究动机与目标

• 为解决广域网（WAN）中通信开销导致的超大规模网格（VLSG）性能瓶颈。
• 研究基于UDP的通信在存在丢包的情况下对并行算法性能的影响，特别是在高带宽、高延迟环境中的表现。
• 开发一种将丢包概率作为核心参数的计算模型，以指导并行程序的最优设计。
• 确定在给定网格节点数量下，为最大化加速比所需传输的数据包副本最小数量。
• 证明通过轻量级可靠性机制（如数据包复制）可增强UDP的性能优势，即使在5%至15%的丢包率下也能实现性能提升。

提出的方法

• 将批量同步并行（BSP）模型扩展，引入丢包概率作为基本参数，形成损耗性BSP（L-BSP）模型。
• 利用PlanetLab的实测数据表征UDP性能，包括平均丢包率（5%–15%）、往返时间及分布式节点间的带宽。
• 将L-BSP模型应用于分析基本通信模式，如全归约（all-gather）和基于环的分布式数据传输。
• 推导L-BSP模型中的通信成本函数：$ t_{allgather} = [k\alpha + \beta](P-1)\hat{\rho}^k $，其中$ \hat{\rho} $用于反映丢包与数据包复制的影响。
• 通过平衡传输成本与丢包恢复开销，确定每条消息传输的最优副本数量以实现最大加速比。
• 使用标准并行算法（如全归约）对模型进行评估，以量化在真实网络条件下的性能增益。

实验结果

研究问题

• RQ1 基于UDP的通信中，丢包如何影响超大规模网格中并行算法的性能？
• RQ2 在不同丢包率下，每条消息传输的最优副本数量是多少，才能实现最大加速比？
• RQ3 L-BSP模型能否准确预测在高带宽、高延迟网络中使用UDP配合数据包复制相较于TCP的性能提升？
• RQ4 当引入丢包作为变量时，L-BSP模型中的通信成本与传统BSP模型相比如何？
• RQ5 在不引入过度开销的前提下，通过数据包复制可实现多大程度的性能增益？

主要发现

• 在广泛分布的PlanetLab节点之间，5%至15%的丢包率较为常见，对基于UDP的通信造成显著影响。
• 传输同一数据包的多个副本可提升整体加速比，尤其在高带宽、高延迟网络中效果更明显。
• L-BSP模型成功捕捉了传输成本与可靠性之间的权衡，能够预测最优复制水平。
• 模型表明，在高带宽、高延迟环境中，使用适当数量的副本可实现高于TCP的加速比。
• 即使在某些配置下效率较低，该模型仍表明在大规模节点数量下可实现有意义的加速比。
• 研究证实，当结合智能复制策略时，UDP在性能关键且延迟受限的并行应用中可超越TCP。