[论文解读] Elmo: Source-Routed Multicast for Cloud Services

Muhammad Shahbaz, Lalith Suresh+4 more|arXiv (Cornell University)|Feb 27, 2018

Software-Defined Networks and 5G参考文献 56被引用 6

一句话总结

Elmo 通过在数据包头部直接编码多播转发规则，实现了数据中心内的源路由多播，消除了对交换机组表条目的依赖。利用针对对称 Clos 拓扑定制的紧凑头部编码，Elmo 在仅 27K 主机的数据中心中支持多达一百万个多播组，每台叶交换机平均仅需 1.1K 个组表条目，且相比理想多播仅产生 5% 的流量开销。

ABSTRACT

We present Elmo, a system that addresses the multicast scalability problem in multi-tenant data centers. Modern cloud applications frequently exhibit one-to-many communication patterns and, at the same time, require sub-millisecond latencies and high throughput. IP multicast can achieve these requirements but has control- and data-plane scalability limitations that make it challenging to offer it as a service for hundreds of thousands of tenants, typical of cloud environments. Tenants, therefore, must rely on unicast-based approaches (e.g., application-layer or overlay-based) to support multicast in their applications, imposing overhead on throughput and end host CPU utilization, with higher and unpredictable latencies. Elmo scales network multicast by taking advantage of emerging programmable switches and the unique characteristics of data-center networks; specifically, the symmetric topology and short paths in a data center. Elmo encodes multicast group information inside packets themselves, reducing the need to store the same information in network switches. In a three-tier data-center topology with 27K hosts, Elmo supports a million multicast groups using a 325-byte packet header, requiring as few as 1.1K multicast group-table entries on average in leaf switches, with a traffic overhead as low as 5% over ideal multicast.

研究动机与目标

• 解决多租户数据中心中 IP 多播的可扩展性限制，这些数据中心需要为数以万计的租户提供低时延、高吞吐量的多播服务。
• 克服交换机组表容量有限的瓶颈，该瓶颈在实践中将多播组支持限制在仅数千个。
• 消除对效率低下、增加云应用 CPU 负载和延迟的基于单播的覆盖网络的依赖。
• 为云工作负载（如遥测、复制和发布-订阅系统）原生提供线速多播支持，且无需修改应用程序。
• 设计一种利用可编程交换机和数据中心拓扑特性的系统，实现在大规模下可扩展、高效的多播。

提出的方法

• 直接在数据包头部编码多播转发策略（即多播树），而非在交换机组表中维护状态。
• 利用数据中心对称、多根 Clos 拓扑的特性，设计一种紧凑高效的多播组成员信息头部编码方式。
• 使用 325 字节的数据包头部表示完整的多播树信息，使系统在 27K 主机的数据中心中支持多达一百万个多播组。
• 使用与现代可编程交换机（如 Barefoot Tofino、Cavium XPliant）兼容的硬件原语实现编码，以确保线速处理。
• 通过将每台叶交换机的平均组表条目数减少到仅 1.1K，最大限度降低交换机内存使用量，即使在大规模场景下也如此。
• 通过避免使用复杂或非标准的交换机操作（如通配符查找或多表遍历），确保与现有网络基础设施的兼容性。

实验结果

研究问题

• RQ1 通过将转发状态从交换机转移到数据包头部，能否显著提升多租户数据中心中的多播可扩展性？
• RQ2 如何使多播组编码足够紧凑，以适配头部空间，同时仍能在 Clos 拓扑中支持数百万个组？
• RQ3 在源路由多播系统中，头部大小、交换机内存使用量和网络性能之间的权衡关系如何？
• RQ4 在现代可编程交换机上，能否以线速实现源路由多播，而无需使用非标准或昂贵的数据平面操作？
• RQ5 与基于单播的覆盖网络相比，源路由多播在云工作负载中能在多大程度上减少 CPU 开销并提升吞吐量？

主要发现

• Elmo 在一个三阶段数据中心（27,000 台主机）中，仅使用 325 字节的数据包头部，支持多达一百万个多播组。
• 该系统将每台叶交换机的平均组表条目数降低至仅 1.1K，显著减少了交换机内存需求。
• Elmo 与理想多播相比，流量开销最低仅 5%，表现出极高的效率。
• 该系统在可编程交换机（如 Tofino、XPliant）上以线速运行，实现了无需 CPU 参与的低时延、高吞吐量多播。
• Elmo 消除了对应用层或覆盖网络多播的需求，降低了终端主机的 CPU 利用率，并提升了应用吞吐量。
• 该方法保持了租户之间的地址空间隔离，并完全利用了网络的割切带宽，而此前基于聚合的解决方案则不具备这一特性。