[論文レビュー] Optimizing Routerless Network-on-Chip Designs: An Innovative Learning-Based Framework

Ting-Ru Lin, Drew Penney+2 more|arXiv (Cornell University)|May 10, 2019

Interconnection Networks and Systems被引用数 10

ひとこと要約

本論文は、設計制約のもとで近似的最適なループ配置を学習することで、ルーターレスネットワークオンチップ（NoC）設計を最適化する深層強化学習（DRL）フレームワークを提案する。マルチスレッド化された深層ニューラルネットワークで強化されたモンテカルロツリーサーチ（MCTS）を用いることで、従来のメッシュNoCと比較して3.25倍の高いスループット、1.6倍の低い遅延、5倍の低い消費電力が達成され、主要な指標において最先端のルーターレス設計を上回った。

ABSTRACT

Machine learning applied to architecture design presents a promising opportunity with broad applications. Recent deep reinforcement learning (DRL) techniques, in particular, enable efficient exploration in vast design spaces where conventional design strategies may be inadequate. This paper proposes a novel deep reinforcement framework, taking routerless networks-on-chip (NoC) as an evaluation case study. The new framework successfully resolves problems with prior design approaches being either unreliable due to random searches or inflexible due to severe design space restrictions. The framework learns (near-)optimal loop placement for routerless NoCs with various design constraints. A deep neural network is developed using parallel threads that efficiently explore the immense routerless NoC design space with a Monte Carlo search tree. Experimental results show that, compared with conventional mesh, the proposed deep reinforcement learning (DRL) routerless design achieves a 3.25x increase in throughput, 1.6x reduction in packet latency, and 5x reduction in power. Compared with the state-of-the-art routerless NoC, DRL achieves a 1.47x increase in throughput, 1.18x reduction in packet latency, and 1.14x reduction in average hop count albeit with slightly more power overhead.

研究の動機と目的

• 既存のルーターレスNoC設計手法の限界、すなわちランダムサーチによる信頼性の欠如や、構造的制約の厳密さによる柔軟性の欠如を解消すること。
• 10^12を超えるコンフィギュレーションを有する巨大なルーターレスNoC設計空間を、効率的かつ制約を考慮した形で探索可能にする。
• 多様な設計制約のもとで完全接続性と高パフォーマンスを保証するスケーラブルで学習ベースのフレームワークを構築すること。
• サイクル正確なシミュレーションと実際のNoCワークロードにおける回路レベル評価を通じて、フレームワークの有効性を実証すること。
• 他のNoCやコンputャー・アーキテクチャ分野における制約付き設計問題に一般化可能なアプローチを確立すること。

提案手法

• 設計空間における行動選択のためのポリシー関数と価値関数を学習する二重ヘッド構造を有する深層Qネットワーク（DQN）を採用する。
• 有望な設計コンフィギュレーションを並列に探索することで、高品質な訓練データを生成するためにモンテカルロツリーサーチ（MCTS）を用いる。
• マルチスレッド化されたトレーニングアーキテクチャにより、MCTSのロールアウトを高速化し、巨大なルーターレスNoC設計空間の効率的探索を可能にする。
• 配線リソース制限、接続要件、3次元距離の上限といった設計制約を、行動サンプリング段階で強制することで、妥当な解を保証する。
• MCTSのロールアウトから収集した自己教師付き経験を用いて、深層ニューラルネットワークをエンドツーエンドで訓練し、最適なループ配置戦略を学習可能にする。
• 4x4から10x10のNoCコンフィギュレーションにおけるサイクル正確なアーキテクチャレベルのシミュレーションと回路レベル実装を通じて、フレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習フレームワークは、厳密な設計制約を満たしつつ、巨大なルーターレスNoC設計空間を効果的に探索できるか？
• RQ2 本研究で提案するDRLフレームワークは、スループット、遅延、消費電力効率の観点で、従来のメッシュNoCと比べてどのように差をつけるか？
• RQ3 REC や IMR といった既存のルーターレスNoC設計と比較して、本フレームワークはパフォーマンスとスケーラビリティの面でどの程度優れているか？
• RQ4 本フレームワークは、3次元NoC やチップレット接続など、複雑な制約を伴う他のNoC設計問題にも一般化可能か？
• RQ5 MCTSとディープラーニングの統合は、ランダム探索やヒューリスティック探索と比較して、収束性と解の質をどのように向上させるか？

主な発見

• 提案されたDRLベースのルーターレスNoCは、従来のメッシュNoC設計と比較して、スループットが3.25倍向上した。
• パケット遅延は従来のメッシュNoCと比較して1.6倍低減され、リアルタイム性能が顕著に向上した。
• 消費電力は従来のメッシュNoCと比較して5倍低減され、優れたエネルギー効率を示した。
• 最先端のRECルーターレスNoCと比較して、DRL設計はスループットが1.47倍高く、パケット遅延が1.18倍低かった。
• 平均ホップ数はRECと比較して1.14倍低減され、通信効率の向上が示された。
• 4x4から10x10のNoCにスケーリングした際、RECではスループット劣化が31.6％に達したが、DRLではわずか4.7％にまで低下し、優れたスケーラビリティを示した。