[论文解读] An Open-Source Platform for High-Performance Non-Coherent On-Chip Communication

Andreas Kurth, Wolfgang Rönninger+5 more|arXiv (Cornell University)|Sep 11, 2020

Interconnection Networks and Systems参考文献 30被引用 33

一句话总结

本论文提出了一种基于行业标准AMBA AXI5协议的开源、模块化且拓扑无关的片上通信平台，支持异构多核与加速器丰富的SoC中的高性能、非一致性通信。该平台支持最高1024位数据宽度和2.5 GHz运行频率，在22 nm工艺下实现的1024核机器学习训练加速器中，达到32 TB/s的跨截面带宽，往返延迟仅为24 ns。

ABSTRACT

On-chip communication infrastructure is a central component of modern systems-on-chip (SoCs), and it continues to gain importance as the number of cores, the heterogeneity of components, and the on-chip and off-chip bandwidth continue to grow. Decades of research on on-chip networks enabled cache-coherent shared-memory multiprocessors. However, communication fabrics that meet the needs of heterogeneous many-cores and accelerator-rich SoCs, which are not, or only partially, coherent, are a much less mature research area. In this work, we present a modular, topology-agnostic, high-performance on-chip communication platform. The platform includes components to build and link subnetworks with customizable bandwidth and concurrency properties and adheres to a state-of-the-art, industry-standard protocol. We discuss microarchitectural trade-offs and timing/area characteristics of our modules and show that they can be composed to build high-bandwidth (e.g., 2.5 GHz and 1024 bit data width) end-to-end on-chip communication fabrics (not only network switches but also DMA engines and memory controllers) with high degrees of concurrency. We design and implement a state-of-the-art ML training accelerator, where our communication fabric scales to 1024 cores on a die, providing 32 TB/s cross-sectional bandwidth at only 24 ns round-trip latency between any two cores.

研究动机与目标

• 解决异构多核与加速器丰富的SoC中非一致性片上通信缺乏开源、可扩展且标准化平台的问题。
• 提供一种模块化、可参数化且拓扑无关的平台，支持高带宽、高并发性，并实现对各类IP模块（如DMA引擎、内存控制器）的无缝集成。
• 实现高性能片上互连结构的端到端设计，支持可验证的时序、面积与微架构权衡分析。
• 通过在宽松许可协议下完全开源RTL代码，包括桥接器、转换器和系统级组件，支持研究与工业开发。

提出的方法

• 该平台基于AMBA AXI5协议构建，采用valid-ready流控制机制和事务排序规则（O1–O3），以确保正确性并支持多个未完成事务。
• 核心组件包括网络（去）复用器、ID宽度转换器、数据宽度转换器，以及DMA引擎、内存控制器等专用模块，全部使用可综合的SystemVerilog实现。
• 设计强调模块化与关注点分离——路由、缓冲与流控功能相互解耦，以支持灵活的拓扑结构并实现独立优化。
• 平台支持可定制的数据宽度（最高达1024位）、并发性（最高256个并发事务），且完全兼容行业标准AXI5协议。
• 通过在22 nm工艺下将所有组件集成到一个1024核机器学习训练加速器中，完整展示了端到端通信互连结构。
• 通过拓扑综合进行性能与面积表征，实现对不同配置下时序、面积与权衡关系的详细分析。

实验结果

研究问题

• RQ1 能否基于行业标准协议构建一个完全开源、模块化且拓扑无关的片上通信平台，以支持异构SoC中高带宽、高并发通信？
• RQ2 网络组件（如复用器、转换器）中的微架构选择在实际设计中如何影响性能、面积与时序？
• RQ3 该平台在大规模多核加速器中，能在多大程度上支持极端带宽与低延迟？
• RQ4 该平台的开源特性如何促进片上网络设计的新研究与开发，特别是在通信互连结构与加速器协同设计方面？
• RQ5 该平台能否用于实现工业级、高性能的通信互连结构，其性能与灵活性是否可与商业产品比肩或超越？

主要发现

• 该平台成功在22 nm工艺下实现1024核机器学习训练加速器，任意两核之间实现32 TB/s的跨截面带宽。
• 在1024核配置下，片上通信互连结构在任意两核间实现仅24 ns的往返延迟。
• 平台支持最高1024位数据宽度和2.5 GHz运行频率，支持高速数据在互连结构中的高效传输。
• 设计实现高并发性，支持最多256个独立事务，有效利用宽数据路径。
• 开源的RTL代码实现完全透明、可验证与可定制，支持超越专有IP范围的研究与工业部署。
• 平台的模块化组件（如复用器、转换器）表现出良好的可扩展性与可组合性，支持灵活的拓扑结构与系统级集成，且无协议复杂性。