[论文解读] Datacenter Ethernet and RDMA: Issues at Hyperscale

Torsten Hoefler, Duncan Roweth+10 more|arXiv (Cornell University)|Feb 7, 2023

Software-Defined Networks and 5G被引用 4

一句话总结

本文认为，尽管RoCE被广泛使用，但在无损网络、拥塞控制和超大规模环境下的可扩展性方面存在根本性缺陷。为此，本文提出一种下一代基于以太网的高性能网络栈，支持有损和无损两种模式，具备细粒度重传（如选择性确认）和集成拥塞控制机制，旨在取代AI、高性能计算（HPC）和存储工作负载中过时的RoCE与TCP/IP架构。

ABSTRACT

We observe that emerging artificial intelligence, high-performance computing, and storage workloads pose new challenges for large-scale datacenter networking. RDMA over Converged Ethernet (RoCE) was an attempt to adopt modern Remote Direct Memory Access (RDMA) features into existing Ethernet installations. Now, a decade later, we revisit RoCE's design points and conclude that several of its shortcomings must be addressed to fulfill the demands of hyperscale datacenters. We predict that both the datacenter and high-performance computing markets will converge and adopt modernized Ethernet-based high-performance networking solutions that will replace TCP and RoCE within a decade.

研究动机与目标

• 识别RoCE在现代超大规模数据中心中的关键缺陷，特别是在拥塞控制、无损操作和可扩展性方面的不足。
• 分析传统RDMA语义（如有序交付和回退N重传）如何阻碍高效的负载均衡和网络利用率。
• 主张对数据中心以太网进行根本性重构，以同时支持有损和无损传输模式，实现更智能的缓冲区管理并降低复杂性。
• 倡导在下一代高性能网络中集成规范级别的拥塞控制机制，并增强安全性。
• 预测未来十年内HPC与数据中心网络将通过统一的、现代化的以太网基础实现融合，取代TCP和RoCE。

提出的方法

• 分析RoCEv2依赖ECN拥塞控制的局限性，其使用二值拥塞标志，缺乏细粒度反馈，导致收敛缓慢，在尾部拥塞（incast）场景下性能差。
• 评估PFC实现无损网络在大规模数据中心中的低效性，其在多层交互作用下易引发缓冲区溢出和拥塞树问题。
• 提出一种新型基于以太网的RDMA网络栈，支持有损和无损两种传输模式，将缓冲区管理与严格的无损要求解耦。
• 主张以选择性确认（SACK）替代回退N重传机制，以提高重传效率并减少带宽浪费。
• 引入网络内拥塞信号与直接从交换机到源端的反馈机制，以降低拥塞响应延迟，避免接收端反弹延迟。
• 建议设计具备可扩展性的协议，以支持智能NIC、网络内计算和安全内存语义，满足未来工作负载需求。

实验结果

研究问题

• RQ1 为何RoCE依赖无损以太网和基于ECN的拥塞控制，会导致现代超大规模数据中心中性能差、可扩展性低？
• RQ2 现代数据中心网络中更高的链路延迟如何加剧尾部拥塞问题，并降低基于接收端的拥塞控制的有效性？
• RQ3 在高吞吐、高消息速率工作负载（如AI训练）中，使用有序交付和回退N重传机制存在哪些系统性缺陷？
• RQ4 统一的、现代化的以太网栈若同时支持有损和无损模式，是否能相比当前的RoCE和TCP/IP模型，提升网络效率并降低复杂性？
• RQ5 下一代RDMA网络如何更好地与智能NIC、网络内遥测和安全机制集成，以支持未来的AI和HPC工作负载？

主要发现

• RoCE的基于ECN的拥塞控制因使用二值拥塞标志而低效，需经历大量RTT才能收敛，导致在尾部拥塞和高延迟条件下性能差。
• 使用PFC实现无损操作在多层交互作用下引发复杂问题，导致拥塞树、受害流和缓冲区利用率低下，尤其在大规模部署中更为严重。
• 更高的端到端延迟增加了带宽-延迟积，使得即使1 MiB的消息也过小，无法通过发送端限速实现有效的尾部拥塞处理，从而加剧拥塞问题。
• 传统RDMA语义（如有序交付和回退N重传）严重限制了网络负载均衡能力，阻碍了高效多路径传输，尤其在长期运行的AI训练流中表现明显。
• 本文预测，下一代以太网将通过支持有损和无损模式、选择性确认和集成拥塞控制，取代超大规模数据中心中的RoCE和TCP/IP。
• 现代化网络将实现更智能的缓冲区管理，减少对复杂无损网络架构的依赖，并为AI、HPC和存储工作负载提供更灵活、安全、可扩展的高性能网络。