[논문 리뷰] The Distributed Network Processor: a novel off-chip and on-chip interconnection network architecture

A. Biagioni, Francesca Lo Cicero외 8명|arXiv (Cornell University)|2012. 03. 07.

Interconnection Networks and Systems참고 문헌 17인용 수 8

한 줄 요약

이 논문은 다중 타일 MPSoC 및 HPC 시스템에서 온칩 및 오프칩 통신을 위한 구성 가능하고 확장성 있고 저면적 인터커넥트 네트워크 아키텍처인 분산 네트워크 프로세서(DNP)를 제안한다. 이는 정적 루팅을 사용하는 매개변수화된 웜홀 루팅 기반의 사각형 방지 네트워크로, 이질적 플랫폼에서 균일한 RDMA 스타일 통신을 가능하게 하며, 500MHz에서 온칩 지연 130 사이클, 오프칩 지연 250 사이클을 달성한다. 45nm 공정에서 면적 추정치는 1.30–1.76 mm²이다.

ABSTRACT

One of the most demanding challenges for the designers of parallel computing architectures is to deliver an efficient network infrastructure providing low latency, high bandwidth communications while preserving scalability. Besides off-chip communications between processors, recent multi-tile (i.e. multi-core) architectures face the challenge for an efficient on-chip interconnection network between processor's tiles. In this paper, we present a configurable and scalable architecture, based on our Distributed Network Processor (DNP) IP Library, targeting systems ranging from single MPSoCs to massive HPC platforms. The DNP provides inter-tile services for both on-chip and off-chip communications with a uniform RDMA style API, over a multi-dimensional direct network with a (possibly) hybrid topology.

연구 동기 및 목표

• 다중 타일 MPSoC 및 HPC 시스템에서 온칩 및 오프칩 통신의 확장성과 효율성 문제를 해결하기 위해.
• 동일한 API를 사용하여 온칩 및 오프칩 상호연결을 모두 지원하는 통합된 저지연, 고대역폭 통신 인fra를 제공하기 위해.
• 특히 no-MMU 환경에서 실리콘 면적과 전력 소비를 최소화하는 최소한의 합성 가능하고 구성 가능한 하드웨어 IP 블록을 설계하기 위해.
• 단일 MPSoC부터 대규모 HPC 클러스터에 이르기까지 시스템 계층 전반에 걸쳐 원활한 통합을 가능하게 하기 위해, 균일한 통신 모델을 사용하기 위해.
• 프로그래머블 루팅 및 고장 내성 루팅 메커니즘을 통해 향후 확장성을 지원하기 위해.

제안 방법

• DNP는 구성 가능한 내부 타일(L), 온칩(N), 오프칩(M) 포트 수를 가진 매개변수화된 IP 라이브러리로 구현되어 있으며, 탄력적인 시스템 통합을 가능하게 한다.
• 정적 루팅을 사용하는 완전히 스위치된 웜홀 루팅 기반의 사각형 방지 패킷 기반 통신 아키텍처로, 저지연, 고대역폭 데이터 전송을 실현한다.
• 온칩 및 오프칩 타일 전반에 걸쳐 균일한 RDMA 스타일 API를 지원하여 하드웨어 차이를 추상화하고, 전체 시스템의 통신 primitive를 가능하게 한다.
• 가상 메모리 지원을 제거함으로써 면적과 전력을 절감하는 no-memory address translation (MMU-off) 환경에 최적화되어 있다.
• 500MHz에서 45nm 공정을 사용한 Place-and-route 시험을 실시하였으며, 면적과 전력 추정을 위해 메모리 매크로 대신 레지스터를 사용하였고, 최종 설계로의 결과 외삽을 수행하였다.
• 오프칩 인터페이스는 16:1 시리얼라이제이션 요소를 사용하며, 대역폭은 4 bit/cycle이며 지연은 주로 시리얼라이제이션 및 물리 계층 지연에 의해 결정된다.

실험 결과

연구 질문

• RQ1 이질적인 다중 타일 시스템에서 온칩 및 오프칩 상호연결 전반에 걸쳐 단일 균일한 통신 인fra를 효율적으로 구현할 수 있는 방법은 무엇인가?
• RQ2 저면적, 저전력, MMU-off 설계에서 완전히 스위치된 웜홀 루팅 기반의 사각형 방지 인터커넥트의 구현 가능한 지연과 대역폭는 얼마인가?
• RQ3 DNP의 매개변수화 및 구성 가능한 아키텍처는 단일 MPSoC부터 대규모 HPC 클러스터에 이르기까지 다양한 시스템 규모에서 신속한 탐색과 구현을 어떻게 가능하게 하는가?
• RQ4 다양한 포트 수와 토폴로지에 따라 DNP의 통합에 따른 면적과 전력 오버헤드는 어떻게 되며, 그 스케일링 특성은 어떠한가?
• RQ5 DNP는 대규모 HPC 플랫폼에서 향후 확장성 향상을 위해 프로그래머블 루팅 및 고장 내성 루팅 메커니즘을 지원할 수 있는가?

주요 결과

• DNP는 약 130 사이클(500MHz에서 260ns)의 단일 홉 온칩 지연과 약 250 사이클(500ns)의 오프칩 지연을 달성한다. 오프칩 지연은 주로 시리얼라이제이션에 기인한다.
• 오프칩 네트워크는 각 방향당 4 bit/cycle의 대역폭을 제공하며, 16:1 시리얼라이제이션 요소를 사용한다. 또한 효율적인 웜홀 루팅 덕분에 오프칩 인터페이스를 통과할 때 추가로 약 100 사이클의 지연만 발생한다.
• 45nm 공정에서의 Place-and-route 시험 결과, DNP 면적 추정치는 MTNoC 기준 1.30 mm², MT2D 기준 1.76 mm²이며, 전력 소비는 각각 160mW와 180mW로, 타일 전체 전력 소모의 약 1/4 수준이다.
• 면적 추정치는 근사치이며, 메모리 매크로 대신 레지스터를 사용했기 때문에 보수적인 추정이다. 최종 설계에서는 면적이 약 50% 감소할 것으로 예상된다.
• DNP는 시스템 계층 전반에 걸쳐 확장성 있고 균일한 통신을 지원하여, 동일한 RDMA API를 온칩 및 오프칩 통신에 모두 사용할 수 있게 하여, 시스템 수준의 프로그래밍을 단순화한다.
• 향후 작업으로는 하드코딩된 루팅을 마이크로프로세서로 대체하여 프로그래머블성을 향상시키고, 대규모 HPC 배포를 위한 고장 내성 루팅 메커니즘을 통합하는 것이 포함된다.