[論文レビュー] An Analytic Model for Cost-Benefit Analysis of Dataflows in DNN Accelerators

Hyoukjun Kwon, Michael Pellauer+1 more|arXiv (Cornell University)|May 4, 2018

Parallel Computing and Optimization Techniques被引用数 5

ひとこと要約

本稿では、空間的・時間的再利用およびハードウェアの使用率をモデル化することで、DNNアクセラレータのデータフローの性能およびエネルギー効率を定量化する分析的コストモデル、MAESTROを提案する。48000万の構成において効率的な設計空間探索を可能にし、1秒間に0.17Mの設計を処理する中で、250万の有効な設計、特にスループットおよびエネルギー効率に最適化されたパレート最適な点を同定した。

ABSTRACT

The data partitioning and scheduling strategies used by DNN accelerators to leverage reuse and perform staging are known as dataflow, and they directly impact the performance and energy efficiency of DNN accelerator designs. An accelerator microarchitecture dictates the dataflow(s) that can be employed to execute a layer or network. Selecting an optimal dataflow for a layer shape can have a large impact on utilization and energy efficiency, but there is a lack of understanding on the choices and consequences of dataflows, and of tools and methodologies to help architects explore the co-optimization design space. In this work, we first introduce a set of data-centric directives to concisely specify the space of DNN dataflows in a compilerfriendly form. We then show how these directives can be analyzed to infer various forms of reuse and to exploit them using hardware capabilities. We codify this analysis into an analytical cost model, MAESTRO (Modeling Accelerator Efficiency via Spatio-Temporal Reuse and Occupancy), that estimates various cost-benefit tradeoffs of a dataflow including execution time and energy efficiency for a DNN model and hardware configuration. We demonstrate the use of MAESTRO to drive a hardware design space exploration (DSE) experiment, which searches across 480M designs to identify 2.5M valid designs at an average rate of 0.17M designs per second, including Pareto-optimal throughput- and energy-optimized design points.

研究の動機と目的

• DNNアクセラレータのデータフローにおけるトレードオフを体系的に理解し、分析するためのツールの不足に対処すること。
• データ指向のディレクティブを用いて、コンパイラフレンドリーな形式でデータフロー戦略を指定するための形式的枠組みを提供すること。
• 再利用パターンとハードウェアの利用状況をモデル化し、実行時間とエネルギー効率を推定すること。
• DNNアクセラレータのスケーラブルなハードウェア設計空間探索（DSE）を可能にすること。
• スループットとエネルギー効率の両方をバランスさせたパレート最適な設計を同定すること。

提案手法

• コンパイラフレンドリーな形式でDNNデータフローの空間を明確に指定できる、データ指向のディレクティブのセットを導入すること。
• これらのディレクティブを分析し、DNNワークロードにおける空間的および時間的再利用パターンを同定すること。
• 再利用とハードウェア使用率に基づいて実行時間とエネルギー効率を推定する分析的コストモデル、MAESTROを構築すること。
• このモデルを用いて、48000万の構成にわたる自動的かつ高スループットの設計空間探索（DSE）を実行すること。
• ハードウェア能力モデルを活用して、データフロー選択を性能およびエネルギー指標にマッピングすること。
• モデルを適用して、スループットとエネルギー効率の両面で有効かつパレート最適な設計を同定すること。

実験結果

リサーチクエスチョン

• RQ1 DNNアクセラレータのデータフロー構成を、体系的かつ簡潔に分析可能な形式で正式に指定する方法は何か？
• RQ2 異なるデータフロー選択が、再利用の活用、実行時間、エネルギー効率に与える影響は何か？
• RQ3 分析的モデルが、広大な設計空間において性能とエネルギーのトレードオフを正確に予測できるか？
• RQ4 このようなモデルは、DNNアクセラレータのハードウェア設計空間探索をどの程度効率的に可能にするか？
• RQ5 DNNアクセラレータのデータフローにおいて、スループットとエネルギー効率の間のパレート最適なトレードオフは何か？

主な発見

• MAESTROは、平均して1秒間に0.17百万の設計を処理する高速な設計空間探索を可能にした。
• 本手法は、48000万の潜在的DNNアクセラレータ構成を探索し、250万の有効な設計を同定した。
• モデルは、スループットとエネルギー効率の両方をバランスさせたパレート最適な設計ポイントを同定した。
• データ指向のディレクティブの使用により、データフロー戦略の正確かつコンパイラフレンドリーな指定が可能になった。
• 分析的モデルは、再利用の活用とハードウェア使用率を含む、データフロー選択のコスト・ベネフィットトレードオフを正確に捉えた。
• 本フレームワークは、実世界のDNNアクセラレータ設計探索におけるスケーラビリティと実用性を示した。