[論文レビュー] ZigZag: A Memory-Centric Rapid DNN Accelerator Design Space Exploration Framework

Linyan Mei, Pouya Houshmand+3 more|arXiv (Cornell University)|Jul 22, 2020

Parallel Computing and Optimization Techniques参考文献 22被引用数 14

ひとこと要約

ZigZag は、柔軟なメモリ階層における偶数および不均等な時間的マッピングを網羅的に探索できる、メモリ中心の高速 DNN エンジンアクセラレータ設計空間探索（DSE）フレームワークである。メモリ中心のネストされたループ表現と遅延強化型の分析的コストモデルを用いることで、特に共有されないメモリ階層において空間的アンローリングが効率に与える影響が顕著な状況において、先行するフレームワークよりも最大 33% もエネルギー効率の高い設計を同定できる。

ABSTRACT

Building efficient embedded deep learning systems requires a tight co-design between DNN algorithms, memory hierarchy, and dataflow. However, owing to the large degrees of freedom in the design space, finding an optimal solution through the implementation of individual design points becomes infeasible. Recently, several estimation frameworks for fast design space exploration (DSE) have emerged, yet they either suffer from long runtimes or a limited exploration space. This work introduces ZigZag, a memory-centric rapid DNN accelerator DSE framework which extends the DSE with uneven mapping opportunities, in which operands at shared memory levels are no longer bound to use the same memory levels for each loop index. For this, ZigZag uses a memory-centric nested-for-loop format as a uniform representation to integrate algorithm, accelerator, and algorithm-to-accelerator mapping, and consists of three key components: 1) a latency-enhanced analytical Hardware Cost Estimator, 2) a Temporal Mapping Generator that supports even/uneven scheduling on any type of memory hierarchy, and 3) an Architecture Generator that explores the whole memory hierarchy design space. Benchmarking experiments against existing frameworks, together with three case studies at different design abstraction levels show the strength of ZigZag. Up to 33% more energy-efficient solutions are found by introducing ZigZag's uneven scheduling opportunities.

研究の動機と目的

• 組み込みシステムにおけるパワー制限および面積制限のもとで、膨大な DNN エンジンアクセラレータ設計空間を効率的に探索する課題に対処すること。
• 既存の DSE フレームワークが偶数マッピングや共有メモリ階層に限定されているという制限を克服すること。
• アルゴリズムからハードウェアへのマッピング、メモリ階層、データフロースケジューリングを統合的に最適化することで、パレート最適なアクセラレータ設計を発見できること。
• 偶数および不均等なスケジューリングを両方サポートする、多様なメモリ構成に対応した、高速で分析的かつ高精度なコスト推定手法を提供すること。
• 空間的アンローリングとメモリ階層設計が、特にメモリレベルがオペランド間で共有されていない状況において、エネルギー効率に顕著な影響を与えることの実証

提案手法

• ZigZag は、アルゴリズム、アクセラレータ、マッピング設計空間を統合するため、メモリ中心のネストされた for ループ表現を用いる。
• ループ関連性原理に基づくハードウェアコスト推定器を採用し、低オーバーヘッドでエネルギーとスループットを分析的に計算する。
• 時間的マッピングジェネレータは、偶数および不均等なループブロッキング方式をサポートし、任意のメモリ階層における柔軟なスケジューリングを可能にする。
• アーキテクチャジェネレータは、バランス型／アンバランス型、共有／分離型を含む、有効なメモリ階層の全空間を探索する。
• これらのコンponents を統合した DSE パイプラインを構築し、高次元設計空間の高速かつ分析的探索を可能にする。
• 固定および完全に柔軟なハードウェアテンプレートの両方をサポートし、高レベルの制約から詳細なメモリ構成まで幅広く探索可能である。

実験結果

リサーチクエスチョン

• RQ1 DSE フレームワークは、偶数および不均等な時間的マッピングを両方サポートしながら、DNN エンジンアクセラレータ設計空間の迅速かつ高精度な探索を達成できるか？
• RQ2 オペランド間でメモリレベルが共有されていない場合、空間的アンローリングがエネルギー効率に与える影響はどのように変化するか？
• RQ3 不均等スケジューリングは、偶数スケジューリングと比較して、設計空間をどれほど拡大させ、よりエネルギー効率の高い解決策を導くことができるか？
• RQ4 ワークロード固有のメモリ階層を可能にするために、構成可能なメモリバイパス機能とオペランド再割り当てを備えた Network-on-Chip は、面積およびパワーのオーバーヘッドを上回る価値があるか？
• RQ5 プロセッサエンジンアレイが完全にマッピングされていると仮定した場合、空間的アンローリングのエネルギーへの影響が最小限であるという仮定は、すべてのメモリ階層設計において成り立つか？

主な発見

• ZigZag は、不均等スケジューリングを可能にすることで、特に共有されないメモリ階層において、既存のフレームワークよりも最大 33% もエネルギー効率の高い設計を発見できる。
• メモリレベルがオペランド間で共有されていない場合、空間的アンローリングがエネルギー効率に与える影響は最大 5 倍に達するが、これは従来の仮定と矛盾する。
• 共有メモリ階層では、時間的マッピングが空間的アンローリングによるデータ再利用のアンバランスを補償でき、エネルギーへの影響を軽減する。
• 非共有メモリ階層では、空間的アンローリングの選択が、スケジューリングの柔軟性が制限されるため、エネルギー効率に顕著な影響を与える。
• MobileNetV2 などのワークロードはカスタムメモリ階層から利益を受けることができ、構成可能なメモリバイパス機能を備えた Network-on-Chip は、推論コストを最大 30% 減少させることができる。
• フレームワークの分析的コストモデルは、最小限のランタイムオーバーヘッドで高い精度を達成しており、1 レイヤーあたり数百の設計ポイントを迅速に探索可能である。