[论文解读] METTEOR: Robust Multi-Traffic Topology Engineering for Commercial Data Center Networks

Min Yee Teh, Shizhen Zhao+1 more|arXiv (Cornell University)|Feb 2, 2020

Cloud Computing and Resource Management参考文献 58被引用 5

一句话总结

METTEOR 是一种用于光路交换数据中心的稳健拓扑工程框架，通过使用多个预测的流量矩阵来设计静态的、多流量感知的拓扑，从而消除频繁重配置的需求。其直接跳数流量比胖树架构高出约80%，比均匀网格拓扑高出约35%，在仅每两周更新一次光波长交换机（OCS）的情况下，性能接近理想可重构系统。

ABSTRACT

Numerous optical circuit switched data center networks have been proposed over the past decade for higher capacity, though commercial adoption of these architectures have been minimal so far. One major challenge commonly facing these architectures is the difficulty of handling bursty traffic with optical circuit switches (OCS) with high switching latency. Prior works generally rely on fast-switching OCS prototypes to better react to traffic changes via frequent reconfigurations. This approach, unfortunately, adds further complexity to the control plane. We propose METTEOR, an easily deployable solution for optical circuit switched data centers, that is designed for the current capabilities of commercial OCSs. Using multiple predicted traffic matrices, METTEOR designs data center topologies that are less sensitive to traffic changes, thus eliminating the need of frequently reconfiguring OCSs upon traffic changes. Results based on extensive evaluations using production traces show that METTEOR increases the percentage of direct-hop traffic by about 80% over a fat tree at comparable cost, and by about 30% over a uniform mesh, at comparable maximum link utilizations. Compared to ideal solutions that reconfigure OCSs on every traffic matrix, METTEOR achieves close-to-optimal bandwidth utilization even with biweekly reconfiguration. This drastically lowers the controller and management complexity needed to perform METTEOR in commercial settings.

研究动机与目标

• 解决在高延迟商用 OCS 下，光路交换网络中突发性数据中心流量带来的挑战。
• 减少对频繁 OCS 重配置的依赖，以降低控制平面的复杂性。
• 设计一种能够应对流量不确定性的拓扑工程框架，通过使用多个预测的流量矩阵实现稳健性。
• 利用现成的 OCS 硬件，实现可重构光数据中心网络的实际部署。
• 在仅进行低频重配置（例如每两周一次）而非每次流量变化即更新的情况下，实现接近理想的带宽利用率。

提出的方法

• 采用鲁棒优化框架，考虑多个预测的流量矩阵（TMs），而非单一 TM。
• 通过分析生产环境流量 trace，识别出变化缓慢的流量簇，利用流量的重复性以实现稳定的拓扑设计。
• 通过在一组代表性 TM 中优化最坏情况下的 TM，设计出对流量变化不敏感的逻辑拓扑。
• 利用流量聚类和时间重复性，在保持高性能的同时降低重配置频率。
• 采用最小费用流（MCF）路由算法，计算不同拓扑下的链路利用率和带宽税。
• 使用真实生产环境流量 trace 进行性能评估，并通过主成分分析（PCA）近似重构以提升可扩展性。

实验结果

研究问题

• RQ1 基于多个流量矩阵的拓扑工程框架是否能在处理突发性数据中心流量方面优于单 TM 方法？
• RQ2 低频重配置（例如每两周一次）在多大程度上能够维持与每次流量变化即重配置的理想系统相当的性能？
• RQ3 机架级流量中的流量重复性如何支持在光数据中心中实现稳定且长期存在的拓扑？
• RQ4 鲁棒优化方法是否能降低控制平面复杂性，同时保持高带宽利用率？
• RQ5 如最大链路利用率（MLU）和带宽税等宏观指标，与应用级性能（如流完成时间 FCT）之间的相关性如何？

主要发现

• 在成本和最大链路利用率（MLU）相当的情况下，METTEOR 相较于胖树架构，直接跳数流量提高了约 80%。
• 在相同的 MLU 约束下，METTEOR 相较于均匀网格拓扑，直接跳数流量高出约 35%。
• 在每两周一次 OCS 重配置的条件下，METTEOR 实现了接近理想的带宽利用率，性能与每次流量变化即重配置的系统相当。
• 该框架减少了对高频重配置的依赖，从而降低了商用部署中控制平面的复杂性。
• 分组级仿真显示，较低的带宽税能改善小流的 FCT，并减少 TCP 重传次数，凸显了带宽税作为关键性能指标的重要性。
• 尾部 FCT 随 MLU 升高而恶化，且较高的带宽税会增加 TCP 重传次数，证实了这两个指标对应用级性能的重要性。