[论文解读] An Introduction to the Compute Express Link (CXL) Interconnect

Debendra Das Sharma, Robert E. Blankenship+1 more|arXiv (Cornell University)|Jun 20, 2023

Interconnection Networks and Systems被引用 5

一句话总结

本文介绍了计算互连规范（Compute Express Link, CXL）这一开放行业标准，该标准实现了处理器与加速器、内存缓冲器及智能设备之间的缓存一致性与内存语义。文章详细阐述了CXL 1.0、2.0和3.0标准，展示了CXL如何在保持与PCIe兼容带宽的同时显著降低延迟，从而实现高效内存扩展、资源池化以及数据中心中的高性能计算。

ABSTRACT

The Compute Express Link (CXL) is an open industry-standard interconnect between processors and devices such as accelerators, memory buffers, smart network interfaces, persistent memory, and solid-state drives. CXL offers coherency and memory semantics with bandwidth that scales with PCIe bandwidth while achieving significantly lower latency than PCIe. All major CPU vendors, device vendors, and datacenter operators have adopted CXL as a common standard. This enables an inter-operable ecosystem that supports key computing use cases including highly efficient accelerators, server memory bandwidth and capacity expansion, multi-server resource pooling and sharing, and efficient peer-to-peer communication. This survey provides an introduction to CXL covering the standards CXL 1.0, CXL 2.0, and CXL 3.0. We further survey CXL implementations, discuss CXL's impact on the datacenter landscape, and future directions.

研究动机与目标

• 为计算互连规范（CXL）作为开放行业标准提供全面的介绍。
• 解释CXL如何在加速器、持久内存和智能网络接口等各类设备之间实现内存一致性和语义。
• 分析CXL 1.0、2.0和3.0标准的技术演进及其在提升数据中心性能与可扩展性方面的功能。
• 调查现实世界中CXL的实现及其对现代数据中心架构的影响。
• 概述CXL在异构计算环境中未来的研究与部署方向。

提出的方法

• 调研CXL协议栈，包括其分层架构：物理层、链路层和事务层。
• 分析CXL如何复用PCIe的物理与电气层，实现向后兼容性，同时增加缓存一致性机制。
• 解释CXL的三种协议：CXL.io（用于设备I/O）、CXL.memory（用于内存映射访问）以及CXL.cache（用于缓存一致性）。
• 详细说明CXL 3.0如何通过更高的数据速率（每通道最高达128 Gbps）和改进的错误恢复能力来提升性能。
• 评估CXL在数据中心环境中实现内存扩展、资源池化以及点对点通信方面的作用。
• 回顾主要CPU厂商、设备供应商和数据中心运营商的行业采纳情况，以验证互操作性与生态系统成熟度。

实验结果

研究问题

• RQ1 CXL如何在保持一致性的同时，相比传统PCIe实现更低延迟和更高带宽？
• RQ2 CXL 1.0、2.0和3.0中的关键架构与协议创新是什么，使得其能够实现高效内存与设备互操作？
• RQ3 CXL在跨多台服务器实现可扩展内存扩展与资源共享方面有哪些实现方式？
• RQ4 CXL的缓存一致性模型如何在加速器密集型和内存密集型工作负载中提升性能？
• RQ5 CXL在真实数据中心环境中具有哪些实际影响与部署挑战？

主要发现

• CXL通过在设备间实现缓存一致性和内存语义，显著降低了延迟。
• CXL 3.0支持每通道高达128 Gbps的数据速率，为高性能计算和人工智能工作负载提供可扩展带宽。
• CXL.cache的集成实现了CPU与加速器之间的真正缓存一致性，减少了数据移动，提升了效率。
• CXL实现了跨多台服务器的高效内存扩展与池化，提升了资源利用率并降低了成本。
• 主要CPU厂商、设备供应商和数据中心运营商已采纳CXL，证实其在生产环境中的可行性与互操作性。
• CXL被定位为下一代数据中心的基础技术，支持对低延迟、高带宽和一致内存访问有要求的工作负载。