[論文レビュー] MAESTRO: An Open-source Infrastructure for Modeling Dataflows within Deep Learning Accelerators

Hyoukjun Kwon, Michael Pellauer+1 more|arXiv (Cornell University)|May 4, 2018

Advanced Neural Network Applications被引用数 36

ひとこと要約

MAESTRO は、ドメイン固有言語と分析エンジンを用いて畳み込みニューラルネットワーク（CNN）のデータフローをモデル化し、多様なハードウェア構成におけるパフォーマンス、エネルギー効率、バッファ使用量、NoC帯域幅を予測するオープンソースフレームワークである。これにより、ディープラーニングアクセラレータにおけるデータフローエフェキエンシーとハードウェアマッピングのトレードオフを正確かつ自動的に分析できる。

ABSTRACT

We present MAESTRO, a framework to describe and analyze CNN dataflows, and predict performance and energy-efficiency when running neural network layers across various hardware configurations. This includes two components: (i) a concise language to describe arbitrary dataflows and (ii) and analysis framework that accepts the dataflow description, hardware resource description, and DNN layer description as inputs and generates buffer requirements, buffer access counts, network-on-chip (NoC) bandwidth requirements, and roofline performance information. We demonstrate both components across several dataflows as case studies.

研究の動機と目的

• ディープラーニングアクセラレータにおけるデータフローのモデリングと分析のための標準的で拡張可能なツールの不足に対処すること。
• 研究者やエンジニアが、異なるハードウェア構成におけるさまざまなデータフローマッピングのパフォーマンスとエネルギー効率のトレードオフを体系的かつ系統立てて探査できるようにすること。
• 任意のCNNデータフローを記述する統一的で形式的な言語を提供し、データフローセマンティクスをハードウェア固有の詳細から分離すること。
• 高レベルのデータフローディスクリプションから、バッファ要件、アクセス回数、NoC帯域幅要件といった重要なシステムレベルのメトリクスを自動で導出すること。
• ハードウェア・ソフトウェア共同設計と最適化を支援するため、ルーフラインパフォーマンスモデルの生成を支援すること。

提案手法

• 本フレームワークは、テンソルタイリング、メモリアクセス順序、計算スケジューリングを含む、CNNにおける任意のデータフローパattersを記述するための簡潔で人間が読みやすいドメイン固有言語（DSL）を導入する。
• 静的解析エンジンを統合し、以下の入力を処理する：(1) DSL によるデータフロー記述、(2) ハードウェアリソース仕様（例：オンチップメモリサイズ、NoCトポロジー）、(3) DNNレイヤーのパrameters（例：カーネルサイズ、特徴マップ寸法）。
• 解析エンジンは、計算ステージ間でのデータ移動と再利用を追跡することでバッファ要件を計算し、オンチップバッファ使用量とアクセス頻度を特定する。
• データフローのアクセスパターンと通信トポロジーに基づいて、プロセッシングエレメント間のデータ転送をモデル化し、NoC帯域幅要件を定量化する。
• データフロー単位の算術強度とハードウェア制約に基づいてピーク到達可能パフォーマンスを推定することで、ルーフラインパフォーマンスモデルを生成する。
• 本フレームワークは、新しいハードウェアトポロジー、データフローパatters、最適化戦略のサポートをモジュラーに拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様なアクセラレータアーキテクチャにわたるCNNにおける任意のデータフローパターンを記述する形式的で拡張可能な言語を設計できるか？
• RQ2 データフローディスクリプションの自動解析が、ディープラーニングアクセラレータにおけるバッファ使用量、NoC帯域幅、パフォーマンスボトルネックをどの程度正確に予測できるか？
• RQ3 本フレームワークは、異なるハードウェア構成におけるさまざまなデータフローマッピングのパフォーマンスとエネルギー効率のトレードオフをどの程度正確にモデル化できるか？
• RQ4 本フレームワークは、ルーフラインパフォーマンス境界やメモリアクセスパターンといった、実行可能なインサイトを生成でき、アクセラレータ設計とカーネル最適化を支援できるか？

主な発見

• MAESTRO は、空間的畳み込み、深度可分畳み込み、グループ化畳み込みを含む多様なCNNデータフローを、高精度で複数のハードウェア構成にわたってモデル化できた。
• 本フレームワークはバッファ要件とアクセス回数を正確に予測でき、アクセラレータ設計の初期段階でメモリボトルネックを特定するのに有効である。
• NoC帯域幅要件を定量化し、マルチPEアーキテクチャにおけるスケーリングを制限する通信集約的データフローを明らかにした。
• ルーフラインパフォーマンスモデリング機能により、計算制限領域とメモリ制限領域を識別でき、最適化戦略の立案を支援した。
• DSLは、複雑なデータフローパターンをコンactで人間が読みやすい形で記述可能であり、異なるアクセラレータ設計間での再利用と比較を容易にした。
• 解析フレームワークはスケーラビリティとモularityを示し、再実装なしに新しいハードウェアトポロジーとデータフローパターンへの拡張をサポートした。