[論文レビュー] Slim NoC: A Low-Diameter On-Chip Network Topology for High Energy Efficiency and Scalability

Maciej Besta, Syed Minhaj Hassan+4 more|arXiv (Cornell University)|Oct 21, 2020

Interconnection Networks and Systems参考文献 80被引用数 5

ひとこと要約

Slim NoC (SN) は、非素数有限体と次数直径グラフ理論を活用することで、最小限のルーターラジウスで直径2を達成する新しいオンチップネットワークトポロジである。これにより、多数コアを搭載するシステムにおいて、高いエネルギー効率とスケーラビリティを実現する。レイアウト最適化、バッファ使用量の最適化、および Elastic Links や Central Buffer ルータなどの先進的なマイクロアーキテクチャ的スキームとの統合により、合成ワークロードおよび実ワークロードの両方において、従来のおよび最新の NoC トポロジよりも遅延、スループット、消費電力の面で優れている。

ABSTRACT

Emerging chips with hundreds and thousands of cores require networks with unprecedented energy/area efficiency and scalability. To address this, we propose Slim NoC (SN): a new on-chip network design that delivers significant improvements in efficiency and scalability compared to the state-of-the-art. The key idea is to use two concepts from graph and number theory, degree-diameter graphs combined with non-prime finite fields, to enable the smallest number of ports for a given core count. SN is inspired by state-of-the-art off-chip topologies; it identifies and distills their advantages for NoC settings while solving several key issues that lead to significant overheads on-chip. SN provides NoC-specific layouts, which further enhance area/energy efficiency. We show how to augment SN with state-of-the-art router microarchitecture schemes such as Elastic Links, to make the network even more scalable and efficient. Our extensive experimental evaluations show that SN outperforms both traditional low-radix topologies (e.g., meshes and tori) and modern high-radix networks (e.g., various Flattened Butterflies) in area, latency, throughput, and static/dynamic power consumption for both synthetic and real workloads. SN provides a promising direction in scalable and energy-efficient NoC topologies.

研究の動機と目的

• 数百から数千コアを搭載するチップにおけるスケーラビリティとエネルギー効率の課題に対処すること。
• オンチップ環境に適応した場合に、高ラジウス・低径路トポロジ（例：Slim Fly や Dragonfly）が引き起こす顕著な面積および消費電力のオーバーヘッドを克服すること。
• 物理的制約を満たすオンチップ実装が可能な実用的で製造可能な NoC トポロジを設計し、低径路と低ラジウスを維持すること。
• 最新のマイクロアーキテクチャ的最適化（例：Elastic Links、Central Buffers）を統合し、さらなる性能およびエネルギー効率の向上を図ること。
• 数学的根拠に基づいたトポロジ設計が、低ラジウス（メッシュ、トーラス）および高ラジウス（フラットテンダービーフルリー）トポロジを凌駆する可能性を示すこと。

提案手法

• 非素数有限体を用いて、対称的かつ均一なルータ配置に適した、直径2の次数直径グラフを生成する。
• 次数直径問題からのグラフ理論的原則を応用し、指定されたコア数と直径に対して、ポート数（ラジウス）を最小化する。
• オンチップ制約（例：ダイの側面に均等にノードを配置）を満たすように、NoC 専用のレイアウトを設計し、平均ワイヤ長およびバッファ領域を最小化する。
• バッファサイズ、ワイヤ長、ルータ領域を統合的に最適化するコストモデルを構築し、総ネットワーク面積と消費電力を最小化する。
• 先進的なマイクロアーキテクチャ的技術をトポロジに統合する：バッファ領域を削減する Central Buffer ルータ、動的性能スケーリングを可能にする Elastic Links および ElastiStore、遅延を低減する SMART リンク。
• 同一のルータを有する対称的かつ直接的なネットワーク構造を採用することで、階層的または非直接的ネットワークよりも製造が容易で、スケーラビリティに優れる。

実験結果

リサーチクエスチョン

• RQ1 数千コアを搭載するシステムに適した、低径路で高ラジウスでありながら、最小限のルーターラジウスと実現可能なオンチップレイアウトを持つ低径路オンチップネットワークを設計可能か？
• RQ2 ラックレベルの Slim Fly のトポロジ的利点を、顕著な面積または消費電力のオーバーヘッドを伴わず、オンチップ制約に適応できるか？
• RQ3 数学的グラフ理論および有限体構成が、直径2の特性を持つスケーラブルでエネルギー効率の良い NoC トポロジを実現する程度はどの程度か？
• RQ4 Elastic Links や Central Buffers などの最新マイクロアーキテクチャ的最適化を統合することで、新規 NoC トポロジの性能および効率はどの程度向上するか？
• RQ5 次数直径グラフに基づくトポロジが、低ラジウス（メッシュ、トーラス）および高ラジウス（フラットテンダービーフルリー）NoC に対して、遅延、スループット、エネルギー効率の面で優れているか？

主な発見

• 悪質なトラフィックパターン下で、Flattened Butterfly に比べて遅延を約10%削減、メッシュに比べて50%、トーラスに比べて64%削減した。
• 1296コアシステムにおいて、45nmおよび22nmプロセス技術下で、Flattened Butterfly、メッシュ、トーラスの各トポロジよりも、単位電力あたりのスループットが高かった。
• 非素数有限体の使用により、レイアウトに適した直径2のグラフが構築可能であり、対称的かつ製造可能なオンチップ実装に適している。
• Central Buffer ルータの統合により、バッファ領域と消費電力を削減し、デフレクションベースのバッファレスルーティングに起因する非決定的動作と余分なホップ数を排除した。
• Elastic Links および ElastiStore の統合により、高インジェクションレート下でもスケーラビリティと性能が向上し、高いスループットと低い遅延を維持した。
• 合成ワークロードおよび実ワークロードの広い範囲において、静的および動的消費電力、面積効率、スループットの面で、最先端の NoC トポロジを上回った。