[论文解读] Finishing Flows Quickly with Preemptive Scheduling

Chi-Yao Hong, Matthew Caesar+1 more|arXiv (Cornell University)|Jun 10, 2012

Cloud Computing and Resource Management被引用 16

一句话总结

PDQ 是一种用于数据中心的分布式抢占式流调度协议，通过动态使用最短作业优先（SJF）和最早截止时间优先（EDF）调度来最小化流完成时间和截止时间错过率。与 TCP、RCP 和 D 3 相比，PDQ 将平均流完成时间降低了高达 30%，并在截止时间约束下支持三倍以上的并发发送方。

ABSTRACT

Today's data centers face extreme challenges in providing low latency. However, fair sharing, a principle commonly adopted in current congestion control protocols, is far from optimal for satisfying latency requirements. We propose Preemptive Distributed Quick (PDQ) flow scheduling, a protocol designed to complete flows quickly and meet flow deadlines. PDQ enables flow preemption to approximate a range of scheduling disciplines. For example, PDQ can emulate a shortest job first algorithm to give priority to the short flows by pausing the contending flows. PDQ borrows ideas from centralized scheduling disciplines and implements them in a fully distributed manner, making it scalable to today's data centers. Further, we develop a multipath version of PDQ to exploit path diversity. Through extensive packet-level and flow-level simulation, we demonstrate that PDQ significantly outperforms TCP, RCP and D3 in data center environments. We further show that PDQ is stable, resilient to packet loss, and preserves nearly all its performance gains even given inaccurate flow information.

研究动机与目标

• 解决现代数据中心中由于公平共享传输协议（如 TCP）导致的流完成时间差和高截止时间错过率问题。
• 通过实现无需全局状态知识的分布式、可扩展流优先级调度，克服集中式调度的局限性。
• 设计一种轻量级、分布式的协议，支持抢占机制，以动态重新分配带宽给高优先级流。
• 在保持与现有网络基础设施兼容的前提下，实现与集中式实时调度器相当的低延迟性能。
• 展示对不准确的流大小和截止时间估计的鲁棒性，并在真实数据中心工作负载下评估性能。

提出的方法

• 实现一种分布式算法，使交换机协作收集流工作负载信息，并在无集中控制的情况下收敛到分配决策。
• 使用扩展的 IP 头部（包含四个字段：R_H、P_H、D_H、T_H）携带调度元数据，实现每流优先级和抢占信号。
• 引入一个中间层，使应用程序能够指定流截止时间和大小，或隐式估计这些参数，同时对终端主机的修改最小化。
• 通过允许高优先级流中断低优先级流，实现分布式抢占，支持快速切换并防止死锁。
• 通过将流拆分为子流支持多路径操作，利用路径多样性提高可靠性和性能。
• 使用基于优先级的调度引擎，根据 SJF 或 EDF 原则动态重排序流，对前-κ 个关键流实现 O(κ) 的每包处理复杂度。

实验结果

研究问题

• RQ1 与 TCP 等公平共享协议相比，完全分布式的抢占式调度协议是否能显著降低数据中心网络中的平均流完成时间？
• RQ2 抢占式调度是否能减少延迟敏感工作负载中错过截止时间的流数量，特别是与 D 3 等非抢占式方法相比？
• RQ3 当流大小或截止时间信息不准确或为估计值时，PDQ 的性能表现如何？其性能优势是否仍能保持？
• RQ4 在 PDQ 调度中，多路径流拆分能在多大程度上进一步提升性能和可靠性？
• RQ5 PDQ 是否能在现有数据中心交换机上以极少的软硬件改动高效实现？

主要发现

• 在多样化数据中心工作负载和拓扑下，PDQ 相较于 TCP、RCP 和 D 3 将平均流完成时间降低了约 30%。
• PDQ 在仍满足流截止时间的前提下，支持的并发发送方数量是 D 3 的三倍，表明其在截止时间约束下的卓越可扩展性。
• 即使在流大小或截止时间估计不准确的情况下，PDQ 仍能保持几乎全部的性能优势，表现出对输入不确定性的强鲁棒性。
• 该协议在丢包情况下依然稳定，且在真实网络条件下性能下降极小。
• PDQ 的多路径变体（M-PDQ）通过利用路径多样性，进一步提升了性能和可靠性。
• PDQ 的分布式设计实现了高效的每包处理，对前-κ 个流的复杂度为 O(κ)，使其在大规模数据中心中具备可扩展性和实用性。