[論文レビュー] Marvel: A Data-centric Compiler for DNN Operators on Spatial Accelerators

Prasanth Chatarasi, Hyoukjun Kwon+7 more|arXiv (Cornell University)|Feb 18, 2020

Scientific Computing and Data Management参考文献 46被引用数 19

ひとこと要約

Marvelは、DNN演算子を形式的に特徴付けるためのMaestro Data-Centric (MDC)表記を用い、空間アクセラレータ上で最適なマッピングを効率的かつスケーラブルに探索できるデータ指向コンパイラである。マッピング空間をオンチップおよびオフチップの部分空間に分解し、MDCの解析可能なコストモデルを活用することで、Marvelは探索空間を最大で$O(10^{10})$まで削減し、先行研究の最良手法と比較して10.25倍の幾何平均スループット向上と2.01倍の低エネルギー消費を達成した。

ABSTRACT

The efficiency of a spatial DNN accelerator depends heavily on the compiler and its cost model ability to generate optimized mappings for various operators of DNN models on to the accelerator's compute and memory resources. But, existing cost models lack a formal boundary over the operators for precise and tractable analysis, which poses adaptability challenges for new DNN operators. To address this challenge, we leverage the recently introduced Maestro Data-Centric (MDC) notation. We develop a formal understanding of DNN operators whose mappings can be described in the MDC notation, because any mapping adhering to the notation is always analyzable by the MDC's cost model. Furthermore, we introduce a transformation for translating mappings into the MDC notation for exploring the mapping space. Searching for the optimal mappings is challenging because of the large space of mappings, and this challenge gets exacerbated with new operators and diverse accelerator configurations.To address this challenge, we propose a decoupled off-chip/on-chip approach that decomposes the mapping space into off-chip and on-chip subspaces, and first optimizes the off-chip subspace followed by the on-chip subspace. The motivation for this decomposition is to reduce the size of the search space dramatically and also to prioritize the optimization of off-chip data movement, which is 2-3 orders of magnitude more compared to the on-chip data movement. We implemented our approach in a tool called {\em Marvel}, and another major benefit of our approach is that it is applicable to any DNN operator conformable with the MDC notation.

研究の動機と目的

• 既存のDNN演算子マッピング用コストモデルに形式的境界が欠如していることによる、新規演算子やアクセラレータ構成への適応性の制限を解消すること。
• Maestro Data-Centric (MDC)表記で表現可能なDNN演算子の形式的特徴付けを提供し、正確かつ取り扱いやすい解析を可能にすること。
• ループネストベースの演算子マッピングをMDC表記に変換する変換手法を導入し、マッピング空間の広範な探索を可能にすること。
• オフチップ／オンチップ最適化を分離する戦略を提案し、探索空間を著しく削減するとともに、コストの高いオフチップデータ移動を優先すること。
• MDC表記に準拠する任意のDNN演算子に普遍的に適用可能なコンパイラツールMarvelを実装し、高い性能とエネルギー効率を確保すること。

提案手法

• 本論文は、MDC表記に準拠するDNN演算子を識別する形式的ルールのセットを導入し、MDCコストモデルによる解析可能性を保証する。
• ループネスト表現の演算子マッピングをMDC表記に変換する新しい変換手法を提案し、複雑なデータレイアウトおよびスケジューリング戦略の体系的探索を可能にする。
• マッピング空間をオフチップおよびオンチップの部分空間に分解し、オフチップ最適化を最初に実施することで、データ移動コストを低減する。オフチップ移動はオンチップ移動と比較して2〜3桁のオーダー高コストである。
• オフチップ部分空間は、MDC表記に基づくコストモデルを用いて最適化され、データ移動および再利用パターンの正確な推定が可能になる。
• その後、同じMDCコストモデルに従って、PEアレイの利用度を最大化し、アイドルサイクルを最小化することを目的としたオンチップ部分空間の最適化が実施される。
• この全パイプラインは、MDCベースのコストモデル、変換エンジン、分離型探索戦略を統合したツールMarvelに実装され、エンドツーエンドの最適化が実現される。

実験結果

リサーチクエスチョン

• RQ1 どのDNN演算子がMaestro Data-Centric (MDC)表記を用いて形式的に特徴付けられ、解析可能となるか。そのような演算子の定義的構造的特徴は何か。
• RQ2 ループネストベースの演算子マッピングは、どのようにしてMDC表記に体系的に変換可能となり、形式的解析および最適化が可能になるか。
• RQ3 オフチップおよびオンチップ最適化を分離することで、空間アクセラレータ上のDNN演算子マッピングの有効な探索空間はどの程度削減可能か。
• RQ4 提案されたMDCベースで分離型の最適化戦略は、多様なDNNワークロードにおいて、スループットおよびエネルギー効率の面で既存の最先端マッパーを上回る性能を示せるか。
• RQ5 本手法は、GEMM、LSTM、MLPなどの非畳み込み型演算子にもどの程度一般化可能か。また、達成可能な性能向上は何か。

主な発見

• Marvelは、4つの主要なCNNモデル（AlexNet、VGG16、ResNet50、MobileNetV2）の探索空間を約$10^{10}$倍に削減し、$9.4 \times 10^{18}$から$2.1 \times 10^8$にまで縮小した。
• Marvelは、先行研究から得られた3つの最先端マッピングスタイルと比較して、幾何平均で10.25倍のスループット向上と2.01倍のエネルギー消費低減を達成した。
• GEMM、LSTM、MLPワークロードにおいて、Marvelが生成したマッピングはdMazeRunnerに類似した最適化器のものよりも4.46倍速く、Interstellarに類似した最適化器のものよりも1.22倍速かった。
• オフチップ／オンチップの分離戦略により、エネルギーおよび遅延コストが支配的なオフチップデータ移動の最適化を優先することで、顕著な探索空間の削減が実現された。
• MDC表記により正確なコストモデリングが可能となり、ヒューリスティック的またはサンプリングに基づく探索戦略に依存せずに、データ再利用および移動の推論が可能になった。
• Marvelは、非畳み込み型演算子を含む多様なワークロードにおいて一貫した性能向上を示し、MDC表記に準拠する任意のDNN演算子に普遍的に適用可能であることを実証した。