[논문 리뷰] Optimizing Routerless Network-on-Chip Designs: An Innovative Learning-Based Framework

Ting-Ru Lin, Drew Penney외 2명|arXiv (Cornell University)|2019. 05. 10.

Interconnection Networks and Systems인용 수 10

한 줄 요약

이 논문은 설계 제약 조건 하에서 near-optimal 루프 배치를 학습함으로써 라우터리스 네트워크온칩(NoC) 설계를 최적화하는 딥 강화학습(DRL) 프레임워크를 제안한다. 다중 스레드 딥 네트워크로 강화된 몬테카를로 트리 탐색(MCTS)을 사용하여, 기존의 메쉬 NoC에 비해 3.25배 높은 스루풋, 1.6배 낮은 지연, 5배 낮은 전력 소비를 달성하며, 주요 지표에서 최신 라우터리스 설계를 능가한다.

ABSTRACT

Machine learning applied to architecture design presents a promising opportunity with broad applications. Recent deep reinforcement learning (DRL) techniques, in particular, enable efficient exploration in vast design spaces where conventional design strategies may be inadequate. This paper proposes a novel deep reinforcement framework, taking routerless networks-on-chip (NoC) as an evaluation case study. The new framework successfully resolves problems with prior design approaches being either unreliable due to random searches or inflexible due to severe design space restrictions. The framework learns (near-)optimal loop placement for routerless NoCs with various design constraints. A deep neural network is developed using parallel threads that efficiently explore the immense routerless NoC design space with a Monte Carlo search tree. Experimental results show that, compared with conventional mesh, the proposed deep reinforcement learning (DRL) routerless design achieves a 3.25x increase in throughput, 1.6x reduction in packet latency, and 5x reduction in power. Compared with the state-of-the-art routerless NoC, DRL achieves a 1.47x increase in throughput, 1.18x reduction in packet latency, and 1.14x reduction in average hop count albeit with slightly more power overhead.

연구 동기 및 목표

• 기존의 무작위 탐색으로 인해 신뢰성이 떨어지거나, 고정된 구조적 제약 조건으로 인해 유연성이 떨어지는 라우터리스 NoC 설계 방법의 한계를 해결하기 위해.
• 10^12개 이상의 구성이 가능한 광범위한 라우터리스 NoC 설계 공간을 효율적이고 제약 조건을 고려한 탐색을 가능하게 하기 위해.
• 다양한 설계 제약 조건 하에서도 완전히 연결된 고성능 NoC 구조를 보장하는 확장 가능한 학습 기반 프레임워크를 개발하기 위해.
• 사이클 정확한 시뮬레이션과 실제 NoC 워크로드에 대한 회로 수준 평가를 통해 프레임워크의 효과성을 입증하기 위해.
• 다른 NoC 및 컴퓨터 아키텍처 분야의 제약 조건이 있는 설계 문제에도 일반화 가능한 접근법을 수립하기 위해.

제안 방법

• 설계 공간 내에서 행동 선택을 위한 정책 함수와 가치 함수를 모두 학습하기 위해 이중 헤드 구조를 가진 딥 Q넷(DQN)을 사용한다.
• 우수한 설계 구성표를 동시에 탐색함으로써 고품질의 학습 데이터를 생성하기 위해 몬테카를로 트리 탐색(MCTS)을 활용한다.
• 다중 스레드 학습 아키텍처를 통해 MCTS 롤아웃을 가속화하고, 광범위한 라우터리스 NoC 설계 공간을 효율적으로 탐색할 수 있도록 한다.
• 배선 자원 제한, 연결성 요구사항, 3D 거리 범위 등 설계 제약 조건을 행동 샘플링 단계에서 강제하여 타당한 해를 보장한다.
• MCTS 롤아웃에서 수집한 자기지도 경험을 통해 딥 네트워크를 종단 간(end-to-end)으로 학습시켜 최적의 루프 배치 전략을 학습할 수 있도록 한다.
• 4x4에서 10x10의 NoC 구성에 대해 사이클 정확한 아키텍처 수준 시뮬레이션과 회로 수준 구현을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 엄청나게 큰 라우터리스 NoC 설계 공간을 엄격한 설계 제약 조건을 충족시키며 효과적으로 탐색할 수 있는가?
• RQ2 기본 메쉬 NoC에 비해 제안된 DRL 프레임워크는 스루풋, 지연, 전력 효율성 측면에서 어떻게 비교되는가?
• RQ3 기존의 라우터리스 NoC 설계인 REC와 IMR에 비해 프레임워크는 성능 및 확장성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 3D NoC나 칩렛 인터커넥트와 같은 복잡한 제약 조건을 수반하는 다른 NoC 설계 문제에도 프레임워크가 일반화 가능한가?
• RQ5 MCTS와 딥 러닝의 통합은 랜덤 탐색이나 히وري스틱 탐색에 비해 수렴 속도와 해의 품질을 어떻게 향상시키는가?

주요 결과

• 제안된 DRL 기반의 라우터리스 NoC는 기존 메쉬 NoC 설계 대비 3.25배 높은 스루풋을 달성한다.
• 패킷 지연은 기존 메쉬 설계 대비 1.6배 감소하여 실시간 성능 향상이 뚜렷하다.
• 전력 소비는 기존 메쉬 설계 대비 5배 감소하여 뛰어난 에너지 효율성을 입증한다.
• 최신 기술인 REC 라우터리스 NoC에 비해 DRL 설계는 스루풋이 1.47배 높고, 패킷 지연은 1.18배 낮다.
• 평균 홉 수는 REC 대비 1.14배 감소하여 통신 효율성이 향상됨을 나타낸다.
• 4x4에서 10x10 NoC로 확장할 때, REC의 경우 스루풋 저하율이 31.6%였지만 DRL에서는 단지 4.7%로 떨어져 뛰어난 확장성을 보여준다.