[论文解读] A Heuristic Approach to Protocol Tuning for High Performance Data Transfers

Engin Arslan, Tevfik Kosar|arXiv (Cornell University)|Aug 17, 2017

Advanced Data Storage Technologies参考文献 20被引用 3

一句话总结

本文提出三种动态启发式算法，用于优化应用层协议参数——并行度、流水线化和并发性，以在广域网中最大化数据传输吞吐量。通过根据网络和系统状态自适应地调整这些参数，算法实现的吞吐量比基线配置高出最多10倍，比现有最先进解决方案高出7倍，显著提升了网络利用率和传输效率，且无需修改内核。

ABSTRACT

Obtaining optimal data transfer performance is of utmost importance to today's data-intensive distributed applications and wide-area data replication services. Doing so necessitates effectively utilizing available network bandwidth and resources, yet in practice transfers seldom reach the levels of utilization they potentially could. Tuning protocol parameters such as pipelining, parallelism, and concurrency can significantly increase utilization and performance, however determining the best settings for these parameters is a difficult problem, as network conditions can vary greatly between sites and over time. Nevertheless, it is an important problem, since poor tuning can cause either under- or over-utilization of network resources and thus degrade transfer performance. In this paper, we present three algorithms for application-level tuning of different protocol parameters for maximizing transfer throughput in wide-area networks. Our algorithms dynamically tune the number of parallel data streams per file (for large file optimization), the level of control channel pipelining (for small file optimization), and the number of concurrent file transfers to increase I/O throughput (a technique useful for all types of files). The proposed heuristic algorithms improve the transfer throughput up to 10x compared to the baseline and 7x compared to the state of the art solutions.

研究动机与目标

• 解决尽管具备高速基础设施，高性能数据传输中网络带宽持续未被充分利用的问题。
• 克服在动态网络和系统条件下选择最优协议参数设置（并行度、流水线化、并发性）的挑战。
• 设计客户端侧、用户空间的算法，实现无需服务器或内核级修改的动态传输性能优化。
• 通过自适应参数估计和调度，提升包含大量小文件和大文件的异构数据集的传输吞吐量。
• 超越现有解决方案（如Globus Online）的性能，后者使用静态、非自适应的参数配置。

提出的方法

• 所提出的算法基于带宽和RTT测量，动态估算每文件的并行数据流数量的最优值。
• 采用启发式方法调节控制通道的流水线化级别，尤其有利于小文件传输。
• 自适应调整并发级别，以在多个文件传输中平衡I/O吞吐量与网络资源利用率。
• 算法采用基于反馈的在线调优机制，根据观测到的传输性能实时调整参数。
• 实施通道重分配策略，将空闲通道重新分配给正在进行的小文件传输，以最小化空闲时间并提升整体吞吐量。
• 在多种广域网和局域网拓扑结构中，使用真实和合成数据集对算法进行了评估，文件大小分布各异。

实验结果

研究问题

• RQ1 如何动态调优协议参数（如并行度、流水线化和并发性），以在广域网中最大化数据传输吞吐量？
• RQ2 文件大小异质性对动态参数调优效果有何影响，特别是在以小文件为主的场景中？
• RQ3 与Globus Online等系统所采用的静态配置相比，自适应参数设置在吞吐量和网络利用率方面表现如何？
• RQ4 基于启发式的参数估计能在多大程度上提升在多样化网络条件和系统配置下的传输性能？
• RQ5 TCP缓冲区大小在多大程度上限制了吞吐量？如何通过提升并发性来缓解与缓冲区相关的瓶颈？

主要发现

• 所提出的算法相比基线配置吞吐量最高提升10倍，相比现有最先进方案（如Globus Online）提升7倍。
• 在暗能量探测计划数据集中，MC和ProMC最高达到8.6 Gbps，显著优于其他方法，尤其在高并发设置下表现突出。
• 在以小文件为主的基因组测序数据集中，MC和ProMC达到1.5–3.5 Gbps，ProMC相比MC最高提升10%，归因于对小文件更优的通道分配策略。
• 在局域网实验中，Globus Online仅达到500 Mbps，而所提算法实现超过2 Gbps，凸显了因客户端-服务器通信开销过大导致的性能差距。
• 算法通过增加并发性，有效缓解了次优TCP缓冲区大小的影响，累积增加分配的缓冲区空间，从而提升吞吐量。
• 性能提升在多种网络拓扑结构和文件大小分布下保持一致，证明了启发式调优方法的鲁棒性。