[论文解读] Expander Datacenters: From Theory to Practice

Vipul Harsh, Sangeetha Abdu Jyothi+2 more|arXiv (Cornell University)|Nov 1, 2018

Cloud Computing and Resource Management参考文献 31被引用 7

一句话总结

该论文表明，基于扩频器（expander）的数据中心拓扑在仅使用标准协议（如TCP和最短路径路由）的情况下，相比胖树（fat-tree）拓扑可实现高达3倍的吞吐量提升，相比叶脊（leaf-spine）设计可实现1.5倍的吞吐量提升。结果表明，即使在小规模和现实的过度订阅比率下，扩频器拓扑在带宽、流完成时间、突发流量容忍度和故障恢复能力方面也优于传统拓扑，且无需依赖高级路由或传输机制。

ABSTRACT

Recent work has shown that expander-based data center topologies are robust and can yield superior performance over Clos topologies. However, to achieve these benefits, previous proposals use routing and transport schemes that impede quick industry adoption. In this paper, we examine if expanders can be effective for the technology and environments practical in today's data centers, including the use of traditional protocols, at both small and large scale while complying with common practices such as over-subscription. We study bandwidth, latency and burst tolerance of topologies, highlighting pitfalls of previous topology comparisons. We consider several other metrics of interest: packet loss during failures, queue occupancy and topology degradation. Our experiments show that expanders can realize 3x more throughput than an equivalent fat tree, and 1.5x more throughput than an equivalent leaf-spine topology, for a wide range of scenarios, with only traditional protocols. We observe that expanders achieve lower flow completion times, are more resilient to bursty load conditions like incast and outcast and degrade more gracefully with increasing load. Our results are based on extensive simulations and experiments on a hardware testbed with realistic topologies and real traffic patterns.

研究动机与目标

• 评估基于扩频器的数据中心拓扑是否仅通过标准、工业界广泛采用的协议（如TCP和最短路径路由）即可实现高性能。
• 评估扩频器在小规模和中等规模数据中心中的性能表现，这些场景具有现实的过度订阅比率，而此前的研究往往忽略了这一点。
• 在关键指标（吞吐量、流完成时间、突发容忍度、队列占用率和故障恢复能力）上，对比扩频器与传统拓扑（胖树和叶脊）的性能表现。
• 确定在实际环境中，扩频器要实现性能优势是否需要复杂的流量工程或非盲目路由机制。
• 通过大规模仿真和基于真实流量轨迹的硬件仿真验证研究结果。

提出的方法

• 作者提出了C-S模型，一种合成工作负载，用于捕捉包括均匀、倾斜和突发流量在内的多样化流量模式（例如，incast/outcast流量）。
• 使用标准协议进行性能评估：传输层使用TCP，路由使用最短路径路由，可选地通过段路由实现k条不相交路径路由。
• 实验在大规模仿真和硬件测试平台中进行，后者可模拟最多48台服务器的拓扑，并使用真实的Facebook流量轨迹。
• 研究在不同过度订阅比率（2×–4×）下对比扩频器与基线胖树和叶脊拓扑的性能，这些比率反映了现实世界中的约束条件。
• 关键指标包括吞吐量、流完成时间、队列占用率、故障期间的丢包率，以及负载下的拓扑退化情况。
• 通过解析推导证明，与叶脊拓扑相比，扩频器可将ToR的过度订阅比降低2倍，与胖树拓扑相比可降低4倍。

实验结果

研究问题

• RQ1 当仅使用标准、生产就绪的协议（如TCP和最短路径路由）时，扩频器数据中心拓扑是否能在性能上超越Clos和叶脊拓扑？
• RQ2 在小规模和中等规模数据中心中，扩频器在常见于实际场景的现实过度订阅比率下表现如何？
• RQ3 扩频器在处理如in latter和outcast等突发流量模式时，相较于传统拓扑的性能优势有多大？
• RQ4 随着负载增加，扩频器的性能如何退化？与传统拓扑相比有何差异？
• RQ5 拓扑结构对关键指标（如队列占用率、故障恢复能力及长距离链路使用率）有何影响？

主要发现

• 在各种现实流量模式和过度订阅比率下，扩频器的平均吞吐量相比等效的胖树拓扑最高可提升3倍，相比叶脊拓扑可提升1.5倍。
• 在突发工作负载（如in latter和outcast）下，扩频器的流完成时间显著更短，这得益于更优的负载分发和更低的拥塞水平。
• 在负载增加时，扩频器表现出更平稳的性能退化，队列占用率更低，故障期间的丢包率也更低，优于传统拓扑。
• 即使在小规模场景（如8个叶节点、2个脊节点的硬件测试平台）下，扩频器的性能优势依然显著，挑战了以往认为其优势仅在大规模场景下才显现的假设。
• 研究证实，无需非盲目路由或复杂流量工程机制——仅通过标准协议即可充分释放扩频器的性能优势。
• 解析结果表明，与叶脊拓扑相比，扩频器将ToR的过度订阅比降低了2倍；与胖树拓扑相比，降低了4倍，这解释了其对过度订阅瓶颈的强鲁棒性。