[论文解读] FatPaths: Routing in Supercomputers, Data Centers, and Clouds with Low-Diameter Networks when Shortest Paths Fall Short

Maciej Besta, Marcel Schneider+6 more|arXiv (Cornell University)|Jun 26, 2019

Software-Defined Networks and 5G参考文献 120被引用 5

一句话总结

FatPaths 是一种新型以太网集群路由架构，通过在低直径拓扑（如 Slim Fly）中同时利用最短路径与非最短路径，实现了与 Clos 网络相当成本下 15% 更高的净吞吐量和 2 倍更低的延迟。该架构结合了净化的传输层、流束切换和多路径技术，消除了 TCP 性能瓶颈，并实现了高效的负载均衡。

ABSTRACT

We introduce FatPaths: a simple, generic, and robust routing architecture for Ethernet stacks. FatPaths enables state-of-the-art low-diameter topologies such as Slim Fly to achieve unprecedented performance, targeting both HPC supercomputers as well as data centers and clusters used by cloud computing. FatPaths exposes and exploits the rich (fat) diversity of both minimal and non-minimal paths for high-performance multi-pathing. Moreover, FatPaths features a redesigned purified transport layer, based on recent advances in data center networking, that removes virtually all TCP performance issues (e.g., the slow start). FatPaths also uses flowlet switching, a technique used to prevent packet reordering in TCP networks, to enable very simple and effective load balancing. Our design enables recent low-diameter topologies to outperform powerful Clos designs, achieving 15% higher net throughput at 2x lower latency for comparable cost. FatPaths will significantly accelerate Ethernet clusters that form more than 50% of the Top500 list and it may become a standard routing scheme for modern topologies.

研究动机与目标

• 解决现代高性能计算（HPC）和云环境中低直径网络拓扑中传统 TCP 和路由的性能限制。
• 克服在大规模集群中扩展时，胖树（fat-tree）和 Clos 拓扑中最短路径路由的不足。
• 通过同时利用最短和非最短路径，在以太网集群中实现高吞吐量、低延迟通信。
• 通过重新设计的传输层和流束切换，消除 TCP 的慢启动和分组重排序问题。
• 在成本相当的配置下，实现优于当前最先进的 Clos 网络的性能。

提出的方法

• 提出一种通用的路由架构，可在低直径拓扑（如 Slim Fly）中动态利用最短和非最短路径。
• 采用基于近期数据中心网络进展的净化传输层，消除 TCP 慢启动和分组重排序的惩罚。
• 应用流束切换技术，将同一流的分组集中到单一路径，防止分组重排序并简化负载均衡。
• 利用路径多样性将流量分布到多条路径，提升聚合吞吐量并减少拥塞。
• 设计一种轻量级、无状态的路由机制，与标准以太网栈兼容，便于广泛部署。
• 通过基于当前网络状况选择路径来优化负载均衡，提升公平性和效率。

实验结果

研究问题

• RQ1 在低直径拓扑中，能否有效利用路径多样性，以超越传统最短路径路由在高性能集群中的表现？
• RQ2 净化传输层在数据中心和 HPC 网络中，能在多大程度上消除 TCP 的性能限制？
• RQ3 流束切换如何改善多路径以太网中的负载均衡并减少分组重排序？
• RQ4 在成本相当的情况下，低直径拓扑（如 Slim Fly）能否实现优于 Clos 网络的性能？
• RQ5 FatPaths 对大规模集群中的端到端延迟和净吞吐量有何影响？

主要发现

• 在同等成本约束下，FatPaths 的净吞吐量比 Clos 网络高出 15%。
• 在保持相同成本的前提下，FatPaths 将端到端延迟降低为 Clos 网络的一半。
• 净化的传输层消除了 TCP 的慢启动阶段，显著提升了短流的性能。
• 流束切换有效防止了分组重排序，并实现了在多条路径上的简单、高效负载均衡。
• 当与 FatPaths 路由结合时，低直径拓扑（如 Slim Fly）优于传统的 Clos 设计。
• FatPaths 使以太网集群（在超过 50% 的 Top500 超级计算机中使用）在大规模下实现了前所未有的性能。