[論文レビュー] STONNE: A Detailed Architectural Simulator for Flexible Neural Network Accelerators

Francisco Muñoz-Martínez, José Luis Abellán+2 more|arXiv (Cornell University)|Jun 10, 2020

Advanced Neural Network Applications参考文献 14被引用数 14

ひとこと要約

STONNE は、柔軟な DNN 推論アクセラレータ向けのサイクル正確でモジュラーかつ拡張可能なアーキテクチャシミュレータであり、完全な DNN ワークロードのエンドツーエンド評価を可能にする。この研究では、MAERI アーキテクチャのフォールディング戦略が、計算ユニットの利用効率を極めて低く（平均 25%）し、フォールディング中の部分和の非効率な再配分によって、最大 610% の性能劣化を引き起こすことが明らかになった。

ABSTRACT

The design of specialized architectures for accelerating the inference procedure of Deep Neural Networks (DNNs) is a booming area of research nowadays. First-generation rigid proposals have been rapidly replaced by more advanced flexible accelerator architectures able to efficiently support a variety of layer types and dimensions. As the complexity of the designs grows, it is more and more appealing for researchers to have cycle-accurate simulation tools at their disposal to allow for fast and accurate design-space exploration, and rapid quantification of the efficacy of architectural enhancements during the early stages of a design. To this end, we present STONNE (Simulation TOol of Neural Network Engines), a cycle-accurate, highly-modular and highly-extensible simulation framework that enables end-to-end evaluation of flexible accelerator architectures running complete contemporary DNN models. We use STONNE to model the recently proposed MAERI architecture and show how it can closely approach the performance results of the publicly available BSV-coded MAERI implementation. Then, we conduct a comprehensive evaluation and demonstrate that the folding strategy implemented for MAERI results in very low compute unit utilization (25% on average across 5 DNN models) which in the end translates into poor performance.

研究の動機と目的

• 次世代の柔軟な DNN 推論アクセラレータ向けに、詳細かつオープンソースのシミュレータが不足している問題に対処すること。
• 柔軟なアクセラレータアーキテクチャのための正確でサイクル正確な設計空間探索を可能にすること。
• 特にフォールディング戦略を含むアーキテクチャ的選択の性能への影響を評価すること。
• カスタムアクセラレータファブリック上で現代の DNN モデルをエンドツーエンドでシミュレートできるモジュラーかつ拡張可能なフレームワークを提供すること。
• 最新の柔軟なアクセラレータ（例：MAERI）における非効率なリソース利用が引き起こす性能劣化を定量すること。

提案手法

• STONNE は、柔軟な DNN アクセラレータアーキテクチャの全データフローと制御フローをモデル化するサイクル正確なシミュレータである。
• 完全な DNN モデルのエンドツーエンドシミュレーションをサポートしており、レイヤー単位の実行とメモリ階層の挙動を含む。
• 計算ユニット、オンチップネットワーク（DN および RN）、および大規模レイヤーの処理に用いられるフォールディングなどのデータフロー・パターンをモデル化する。
• 新しいアクセラレータファブリック、データフロー、メモリ階層への容易な拡張を可能にするモジュラーなアーキテクチャを採用している。
• 既存のモデル（例：MAERI）と統合されており、BSV コード実装と比較して平均 15% のサイクル差で検証可能である。
• 乗算器利用効率、サイクル数、理論的 vs. 実効的利用効率といったパフォーマンスメトリクスを報告し、非効率性を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 STONNE は、MAERI のような柔軟な DNN アクセラレータアーキテクチャの挙動をどの程度正確にシミュレートできるか？
• RQ2 フォールディング戦略は、柔軟なアクセラレータにおける計算ユニット利用効率にどのような影響を与えるか？
• RQ3 理論上のピーク利用効率が高いため、MAERI アーキテクチャが低性能を示す理由は何か？
• RQ4 フォールディング中の非効率な部分和の再配分が、全体のアクセラレータ性能にどの程度悪影響を及えるか？
• RQ5 STONNE は、柔軟なアクセラレータのリソース利用効率を最適化するための効果的な設計空間探索を可能にするか？

主な発見

• STONNE は、公開済みの BSV コード実装である MAERI をシミュレートする際、平均 15% のサイクル差を示し、その正確性が検証された。
• MAERI アーキテクチャは、5つの DNN モデル全体で平均 25% の乗算器利用効率にとどまり、その原因はフォールディング戦略にある。
• 最大帯域幅（1サイクルあたり 64 要素）を有効に使っても、CONV1 や CONV3 のような複数のレイヤーでは、乗算器利用効率が 15% 未満にとどまる。
• 理論上のピーク利用効率は実効利用効率よりも顕著に高く、一部のレイヤー（例：FC7）では 9% 未満の利用効率を記録している。
• 非効率なフォールディングによる性能劣化は、リソース未利用とパイipelラインスタールの影響で最大 610% に達する。
• 乗算器とリダクションネットワーク（RN）の依存関係が、パイプライン実行を妨げており、パフォーマンスを著しく制限している。