[论文解读] Flexible Network Bandwidth and Latency Provisioning in the Datacenter

Vimalkumar Jeyakumar, Abdul Kabbani+2 more|arXiv (Cornell University)|May 3, 2014

Software-Defined Networks and 5G参考文献 25被引用 4

一句话总结

Parley 是一种面向服务的网络带宽与延迟分配系统，支持跨多节点服务的灵活、分层及加权共享数据中⼼网络资源。它通过具备全局可见性的分布式带宽代理，动态分配机器和机架级别的管道容量，在高负载下仍能实现可预测的低尾部延迟，该能力已在配备 10Gb/s 链路的 90 台机器测试平台上得到验证。

ABSTRACT

Predictably sharing the network is critical to achieving high utilization in the datacenter. Past work has focussed on providing bandwidth to endpoints, but often we want to allocate resources among multi-node services. In this paper, we present Parley, which provides service-centric minimum bandwidth guarantees, which can be composed hierarchically. Parley also supports service-centric weighted sharing of bandwidth in excess of these guarantees. Further, we show how to configure these policies so services can get low latencies even at high network load. We evaluate Parley on a multi-tiered oversubscribed network connecting 90 machines, each with a 10Gb/s network interface, and demonstrate that Parley is able to meet its goals.

研究动机与目标

• 解决多租户数据中心中，应用具有多样化性能需求时，对灵活的服务级别带宽与延迟保障的需求。
• 克服先前系统仅提供每虚拟机或每租户带宽保障的局限，这些系统无法支持服务间的分层或加权共享。
• 通过全局带宽可见性动态控制峰值网络利用率，实现对延迟敏感服务的可预测低尾部延迟。
• 设计一个可扩展的分布式运行时系统，将全局共享目标分解为本地机架与机器级别的分配问题。
• 同时支持静态带宽保障与动态、加权共享策略，根据实际流量模式自适应调整，避免超额承诺上行链路容量。

提出的方法

• 提出一种分层共享模型，其中服务由端点组成，带宽分配在机器、机架和网络核心层级上嵌套进行。
• 采用分布式‘带宽代理’，根据机器级、机架级和网络核心级的利用率指标，周期性调整每虚拟机的管道容量。
• 在数据平面中使用端到端拥塞控制机制来强制执行管道容量，确保可预测性能，且无需依赖每流状态。
• 在机架级别应用加权最大最小公平性模型，根据各虚拟机的相对权重和当前利用率，共享超额带宽。
• 利用流量模型预测基于自身及共驻服务带宽分配的服务尾部延迟，实现主动容量规划。
• 在开源 EyeQ 系统基础上扩展，增加全局可见性与动态分配功能，同时保留其核心拥塞控制机制。

实验结果

研究问题

• RQ1 如何在多节点服务而非单个端点或虚拟机层面实现网络带宽的灵活共享？
• RQ2 是否能够以可扩展、分布的方式在数据中心网络中有效实现分层与加权带宽共享策略？
• RQ3 在高网络负载下，即使与带宽密集型工作负载共驻，如何为延迟敏感服务实现可预测的低尾部延迟？
• RQ4 动态带宽分配对 RPC 完成时间有何影响？速率控制应如何调优以在公平性与延迟之间取得平衡？
• RQ5 集中式策略在多大程度上可分解为局部、分布式决策，同时仍保持全局公平性与性能保障？

主要发现

• Parley 成功实现了分层带宽共享，使 DFS 等服务的带宽分配可在 6Gb/s 至 8Gb/s 之间，而非付费虚拟机则以加权最大最小方式在每机架共享最多 1Gb/s。
• 系统在高负载下仍能保持可预测的尾部延迟，多数配置下 99 百分位延迟低于 10ms，仅在关键组件（如机架代理）故障时出现波动。
• 在 90 台机器与 10Gb/s 接口的实验中，Parley 实现了高网络利用率，且未超额承诺上行链路容量，优于静态分配方案（如 EyeQ）。
• Parley 的动态分配机制可避免闲置或轻载服务造成的带宽浪费，相比固定每虚拟机上限，显著提升了资源利用效率。
• 实验表明，通过控制机架上行链路的峰值利用率，可有效限制尾部延迟，即使多个服务竞争带宽亦可实现。
• 速率限制的精确性与 RPC 完成时间之间存在权衡：过度的速率控制可使完成时间翻倍，表明对延迟敏感工作负载而言，可配置的突发大小至关重要。