[논문 리뷰] An Open-Source Platform for High-Performance Non-Coherent On-Chip Communication

Andreas Kurth, Wolfgang Rönninger외 5명|arXiv (Cornell University)|2020. 09. 11.

Interconnection Networks and Systems참고 문헌 30인용 수 33

한 줄 요약

이 논문은 산업 표준 AMBA AXI5 프로토콜을 기반으로 한 오픈소스, 모듈식이며 토폴로지에 구애받지 않는 片上 통신 플랫폼을 제시한다. 이 플랫폼은 이질적인 다수코어 및 가속기 기반 SoC에서 고성능, 비공유 메모리 통신을 가능하게 하며, 1024비트 데이터 폭과 2.5 GHz 동작을 지원한다. 22 nm 공정 기술로 구현한 1024코어 기계학습 학습 가속기에서 32 TB/s의 횡단 대역폭을 달성하고, 라운드트립 지연 시간은 단 24 ns이다.

ABSTRACT

On-chip communication infrastructure is a central component of modern systems-on-chip (SoCs), and it continues to gain importance as the number of cores, the heterogeneity of components, and the on-chip and off-chip bandwidth continue to grow. Decades of research on on-chip networks enabled cache-coherent shared-memory multiprocessors. However, communication fabrics that meet the needs of heterogeneous many-cores and accelerator-rich SoCs, which are not, or only partially, coherent, are a much less mature research area. In this work, we present a modular, topology-agnostic, high-performance on-chip communication platform. The platform includes components to build and link subnetworks with customizable bandwidth and concurrency properties and adheres to a state-of-the-art, industry-standard protocol. We discuss microarchitectural trade-offs and timing/area characteristics of our modules and show that they can be composed to build high-bandwidth (e.g., 2.5 GHz and 1024 bit data width) end-to-end on-chip communication fabrics (not only network switches but also DMA engines and memory controllers) with high degrees of concurrency. We design and implement a state-of-the-art ML training accelerator, where our communication fabric scales to 1024 cores on a die, providing 32 TB/s cross-sectional bandwidth at only 24 ns round-trip latency between any two cores.

연구 동기 및 목표

• 이질적인 다수코어 및 가속기 기반 SoC에서 비공유 메모리 片상 통신을 위한 오픈소스, 확장 가능하고 표준화된 플랫폼의 부족 문제를 해결하기 위해.
• 고대역폭, 고병렬성, 다양한 IP 블록(예: DMA 엔진, 메모리 컨트롤러 등)의 원활한 통합을 지원하는 모듈식, 가변 매개변수 설정이 가능한, 토폴로지에 구애받지 않는 플랫폼을 제공하기 위해.
• 검증 가능한 시간, 면적, 마이크로아키텍처적 트레이드오프를 고려한 고성능 片상 패브릭의 종단 간 설계를 가능하게 하기 위해.
• 완전한 RTL 오픈소스 제공(유연한 라이선스 하에)을 통해 연구 및 산업 분야의 개발을 지원하기 위해, 브리지, 컨버터, 시스템 수준 구성 요소를 포함한다.

제안 방법

• 플랫폼은 AMBA AXI5 프로토콜을 기반으로 하며, 유효-준비 흐름 제어 및 트랜잭션 순서 규칙(O1–O3)을 사용하여 정확성 보장을 하고, 다수의 동시 트랜잭션 처리를 지원한다.
• 핵심 구성 요소로는 네트워크(분배)멀티플렉서, ID 폭 변환기, 데이터 폭 변환기, 그리고 DMA 엔진, 메모리 컨트롤러와 같은 전용 모듈이 포함되며, 모두 합성 가능한 SystemVerilog로 구현된다.
• 설계는 모ularity와 책임 분리에 중점을 두어, 라우팅, 버퍼링, 흐름 제어를 분리함으로써 다양한 토폴로지 설계와 독립적 최적화를 가능하게 한다.
• 플랫폼은 사용자 정의 가능한 데이터 폭(최대 1024비트), 병행성(최대 256개의 동시 트랜잭션)을 지원하며, 산업 표준 AXI5와 완전히 호환된다.
• 22 nm 공정 기술로 1024코어 기계학습 학습 가속기에서 모든 구성 요소를 통합하여 종단 간 통신 패브릭을 성공적으로 구현하였다.
• 성능 및 면적 특성 분석은 지형 기반 합성 기반으로 수행되어, 다양한 구성 설정에서 시간, 면적, 트레이드오프에 대한 세부 분석이 가능해졌다.

실험 결과

연구 질문

• RQ1 산업 표준 프로토콜을 사용하여 오픈소스, 모듈식이며 토폴로지에 구애받지 않는 片상 통신 플랫폼을 구축할 수 있는가? 이는 이질적 SoC에서 고대역폭, 고병렬 통신을 지원할 수 있는가?
• RQ2 네트워크 구성 요소(예: 멀티플렉서, 컨버터 등)의 마이크로아키텍처적 선택이 실제 설계에서 성능, 면적, 시간에 어떤 영향을 미치는가?
• RQ3 이러한 플랫폼이 대규모 다수코어 가속기에서 극한의 대역폭과 낮은 지연 시간을 지원하기 위해 어느 정도 확장 가능한가?
• RQ4 플랫폼의 오픈소스 성격이, 특히 가속기와 함께 통신 패브릭을 공동 설계하는 데 있어 새로운 연구 및 개발을 어떻게 촉진하는가?
• RQ5 이 플랫폼을 사용하여 상용 수준의 고성능 통신 패브릭을 구현할 수 있는가? 성능 및 유연성 면에서 상용 솔루션을 뛰어넘거나 대체할 수 있는가?

주요 결과

• 플랫폼은 22 nm 공정 기술로 1024코어 기계학습 학습 가속기를 성공적으로 구현하여, 어떤 두 코어 사이에서도 32 TB/s의 횡단 대역폭을 달성하였다.
• 1024코어 구성에서 어떤 두 코어 사이의 라운드트립 지연 시간은 단 24 ns에 불과했다.
• 플랫폼은 최대 1024비트 데이터 폭과 2.5 GHz 동작을 지원하여 패브릭 전반에 걸쳐 고-throughput 데이터 이동을 가능하게 하였다.
• 최대 256개의 독립적 트랜잭션을 지원함으로써 높은 병행성을 확보하여 넓은 데이터 경로의 효율적 활용이 가능했다.
• 오픈소스된 RTL 코드는 완전한 투명성, 검증 및 커스터마이제이션을 가능하게 하여, 기업 및 연구 분야의 활용 범위를 비공개 IP를 넘어서 확장시켰다.
• 멀티플렉서, 컨버터 등의 플랫폼의 모듈식 구성 요소들이 확장 가능하고 조합 가능함을 입증하여, 프로토콜 복잡성 없이도 다양한 토폴로지 및 시스템 수준 통합이 가능해졌다.