[논문 리뷰] Slim NoC: A Low-Diameter On-Chip Network Topology for High Energy Efficiency and Scalability

Maciej Besta, Syed Minhaj Hassan외 4명|arXiv (Cornell University)|2020. 10. 21.

Interconnection Networks and Systems참고 문헌 80인용 수 5

한 줄 요약

Slim NoC (SN)는 비소수 유한체와 차수-지름 그래프 이론을 활용하여 낮은 지름(2)과 최소한의 라우터 레디스를 달성함으로써, 다수의 코어를 가진 시스템에서 높은 에너지 효율성과 확장성을 확보하는 새로운 片上 네트워크(topology)이다. 레이아웃 최적화, 버퍼 사용 최적화, 그리고 Elastic Links 및 Central Buffer 라우터와 같은 고급 마이크로아키텍처 기법과의 통합을 통해 합성 및 실제 워크로드 상황에서 전통적 및 현대적 NoC 아키텍처보다 지연, 대역폭, 전력 소비 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Emerging chips with hundreds and thousands of cores require networks with unprecedented energy/area efficiency and scalability. To address this, we propose Slim NoC (SN): a new on-chip network design that delivers significant improvements in efficiency and scalability compared to the state-of-the-art. The key idea is to use two concepts from graph and number theory, degree-diameter graphs combined with non-prime finite fields, to enable the smallest number of ports for a given core count. SN is inspired by state-of-the-art off-chip topologies; it identifies and distills their advantages for NoC settings while solving several key issues that lead to significant overheads on-chip. SN provides NoC-specific layouts, which further enhance area/energy efficiency. We show how to augment SN with state-of-the-art router microarchitecture schemes such as Elastic Links, to make the network even more scalable and efficient. Our extensive experimental evaluations show that SN outperforms both traditional low-radix topologies (e.g., meshes and tori) and modern high-radix networks (e.g., various Flattened Butterflies) in area, latency, throughput, and static/dynamic power consumption for both synthetic and real workloads. SN provides a promising direction in scalable and energy-efficient NoC topologies.

연구 동기 및 목표

• 수백에서 수천 개의 코어를 가진 칩에서의 확장성 및 에너지 효율성 도전 과제를 해결하기 위해.
• Slim Fly 및 Dragonfly와 같은 기존의 고래디스, 저지름 아키텍처가 片상 환경에 적용되었을 때 발생하는 높은 면적 및 전력 오버헤드 문제를 극복하기 위해.
• 저지름과 저레디스를 유지하면서도 片상 물리적 제약 조건에 맞는 실용적이고 제조가 가능한 NoC 아키텍처를 설계하기 위해.
• 최신 마이크로아키텍처 최적화 기법(예: Elastic Links, Central Buffers)을 통합하여 성능 및 에너지 효율성을 추가로 향상시키기 위해.
• 수학적으로 기반을 둔 아키텍처 설계가 저레디스(메쉬, 토러스) 및 고레디스(플랫티드 버터플라워) NoC 아키텍처를 모두 뛰어넘을 수 있음을 입증하기 위해.

제안 방법

• 비소수 유한체를 사용하여 대칭적이고 정규적인 片상 레이아웃 및 균일한 라우터 배치에 적합한 지름 2의 차수-지름 그래프를 생성한다.
• 차수-지름 문제에서 유래한 그래프 이론 원리를 적용하여, 주어진 코어 수와 지름에서 레디스(포트 수)를 최소화한다.
• 片상 제약 조건(예: 디자인의 각 면에 균일한 노드 분포)을 고려한 NoC 전용 레이아웃을 설계하여 평균 배선 길이와 버퍼 면적을 최소화한다.
• 버퍼 크기, 배선 길이, 라우터 면적을 종합적으로 최적화하는 비용 모델을 제안하여 총 네트워크 면적과 전력 소비를 최소화한다.
• 고급 마이크로아키텍처 기법을 아키텍처에 통합한다: 버퍼 면적을 감소시키기 위한 Central Buffer 라우터, 동적 성능 스케일링을 위한 Elastic Links 및 ElastiStore, 지연을 감소시키기 위한 SMART 링크.
• 동일한 라우터를 사용하는 대칭적이고 직접적인 네트워크 구조를 채택하여, 계층적 또는 간접 네트워크보다 제조가 용이하고 확장성이 뛰어나다.

실험 결과

연구 질문

• RQ1 수천 개의 코어를 위한 물리적 제약 조건을 고려할 때, 최소한의 라우터 레디스와 실현 가능한 片상 레이아웃을 가진 저지름, 고레디스 片상 네트워크를 설계할 수 있는가?
• RQ2 랙 수준의 Slim Fly의 네트워크적 이점을 片상 제약 조건에 맞게 적용할 수 있는가? 이때 면적 또는 전력 오버헤드가 크게 증가하지 않는가?
• RQ3 수학적 그래프 이론과 유한체 구성 기법을 통해 저지름 특성을 가진 확장 가능하고 에너지 효율적인 NoC 아키텍처를 얼마나 잘 설계할 수 있는가?
• RQ4 최신 마이크로아키텍처 최적화 기법(예: Elastic Links, Central Buffers)을 통합함으로써 신규 NoC 아키텍처의 성능 및 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 차수-지름 그래프를 기반으로 한 아키텍처가 지연, 대역폭, 에너지 효율성 측면에서 저레디스(메쉬, 토러스) 및 고레디스(플랫티드 버터플라워) NoC를 모두 뛰어넘을 수 있는가?

주요 결과

• 악성 트래픽 패턴 하에서, SN은 플랫티드 버터플라워 대비 약 10% 지연 감소, 메쉬 대비 50% 지연 감소, 토러스 대비 64% 지연 감소를 달성한다.
• 1296코어 시스템에서, 45nm 및 22nm 공정 기술 모두에서 SN은 플랫티드 버터플라워, 메쉬, 토러스 아키텍처보다 단위 전력 소비당 높은 대역폭을 확보한다.
• 비소수 유한체의 사용은 레이아웃 우수성과 대칭적이고 제조가 가능한 片상 구현에 적합한 지름 2 그래프를 구축할 수 있도록 한다.
• Central Buffer 라우터 통합으로 버퍼 면적과 전력 소비를 감소시켜, 방향 전환 기반의 버퍼리스 라우팅에서 발생하는 비결정성과 추가적인 홉 수를 제거한다.
• Elastic Links 및 ElastiStore 통합으로 고주입률 상황에서도 확장성과 성능이 향상되어 높은 대역폭과 낮은 지연을 유지한다.
• 다양한 합성 및 실제 워크로드에서 정적 및 동적 전력 소비, 면적 효율성, 대역폭 측면에서 기존 최첨단 NoC 아키텍처를 모두 뛰어넘는 성능을 발휘한다.