[论文解读] ExpressPass: End-to-End Credit-based Congestion Control for Datacenters

Inho Cho, Dongsu Han+1 more|arXiv (Cornell University)|Oct 15, 2016

Cloud Computing and Resource Management参考文献 25被引用 5

一句话总结

ExpressPass 提出了一种端到端的基于信用的拥塞控制协议，用于数据中心网络，通过使用速率受限的信用包主动信号指示可用带宽，实现了零丢包，并且收敛速度比 DCTCP 快达 80 倍。该协议在无需交换机修改或集中式控制的前提下，实现了快速、公平且无丢包的流启动。

ABSTRACT

As link speeds increase in datacenter networks, existing congestion control algorithms become less effective in providing fast convergence. TCP-based algorithms that probe for bandwidth take a long time to reach the fair-share and lead to long flow completion times. An ideal congestion control algorithms for datacenter must provide 1) zero data loss, 2) fast convergence, and 3) low buffer occupancy. However, these requirements present conflicting goals. For fast convergence,flows must ramp up quickly, but this risks packet losses and large queues. Thus, even the state-of-the-art algorithms, such as TIMELY and DCQCN, rely on link layer flow control (e.g.,Priority-based Flow Control) to achieve zero loss. This paper presents a new approach, called ExpressPass, an end-to-end credit-based congestion control algorithm for datacenters. ExpressPass is inspired by credit-based flow control, but extends it to work end-to-end. The switches control the amount of credit packets by rate limiting and ensure data packets flow in the reverse direction without any loss. ExpressPass leverages this to ramp up aggressively. ExpressPass converges up to 80 times faster than DCTCP at 10Gbps link, and the gap increases as link speeds become faster. Our simulation with realistic workload shows that ExpressPass significantly reduces the flow completion time especially for small and medium size flows compared to DCTCP, HULL, and DX.

研究动机与目标

• 解决高速数据中心网络（链路速率从 10Gbps 提升至 100Gbps）中拥塞收敛缓慢和缓冲区占用过高的挑战。
• 在实现快速流启动的同时保证零数据丢包，这对 RDMA 和短流工作负载至关重要。
• 设计一种可扩展的、端到端的拥塞控制机制，遵循端到端原则，无需全网协调或硬件变更。
• 克服现有协议（如 DCTCP、TIMELY 和 DCQCN）的局限性，这些协议依赖 PFC 或反应式反馈，存在收敛时间长或公平性问题。
• 通过信用反馈和路径对称性机制，在多瓶颈和多路径网络拓扑中确保公平性和低排队延迟。

提出的方法

• 从接收方向发送方按流为单位发送端到端的信用包，以在数据传输前信号指示可用带宽。
• 在交换机处使用速率限制来控制信用包的发送速率，确保数据流不会超过链路容量，并防止队列积压。
• 通过哈希实现对称路由，确保信用包和数据包走相同的路径，避免不对称延迟和排队。
• 实施带有随机抖动的信用反馈控制，以稳定速率自适应，避免在动态环境中发生振荡。
• 应用网络演算，对最大排队延迟和缓冲区占用进行理论边界分析，确保低延迟和最小缓冲区使用。
• 对非信用流量（如 ARP、控制包）采用反应式回退机制，通过将其吸收进队列，并在响应时发送信用包。

实验结果

研究问题

• RQ1 端到端的基于信用的拥塞控制能否在高速数据中心网络中实现零数据丢包，并且相比基于 TCP 和 ECN 的协议实现显著更快的收敛速度？
• RQ2 如何将基于信用的流量控制从逐跳机制扩展到端到端机制，而无需交换机修改或集中式控制？
• RQ3 在使用端到端信用信号的多瓶颈和多路径数据中心网络中，需要哪些机制来确保公平性和低排队延迟？
• RQ4 信用速率整形和反馈控制在多大程度上可以减少缓冲区占用，并改善小流和中流的流完成时间？
• RQ5 与最先进的协议（如 DCTCP 和 TIMELY）相比，基于信用的拥塞控制在链路速率增加（例如 10Gbps 与 100Gbps）时，其性能扩展性如何？

主要发现

• ExpressPass 在 10Gbps 和 100Gbps 下均仅需几个 RTT 即可收敛，而 DCTCP 分别需要超过数百和数千个 RTT，收敛速度最快可达 80 倍。
• ExpressPass 在所有仿真中均实现零丢包，即使在突发和入集（incast）流量模式下也表现优异，而基于 ECN 的协议仍易受缓冲区溢出影响。
• ExpressPass 的交换机缓冲区使用量比 DCTCP 最多低八倍，数据缓冲区占用始终接近于零，表明缓冲区利用效率极高。
• 在真实工作负载仿真中，ExpressPass 相较于 DCTCP、HULL 和 DX 显著减少了小流和中流的流完成时间（FCT），且在更高链路速率下性能差距进一步扩大。
• 通过信用反馈控制和路径对称性，该协议在多瓶颈场景下仍能保持高链路利用率和公平性，避免了简单信用速率传输带来的公平性与效率权衡问题。
• 信用反馈控制中引入随机抖动可稳定速率自适应，防止振荡，从而在动态条件下保持一致的性能表现。