[論文レビュー] AI Matrix - Synthetic Benchmarks for DNN

Wei Wei, Lingjie Xu+3 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 4被引用数 5

ひとこと要約

本論文では、実アプリケーションの特徴をプロファイリングすることで、最小限で代表的なDNNワークロードを生成する合成ベンチマークフレームワーク「AI Matrix」を提案する。これにより、適応的で効率的かつ著作権フリーなハードウェア性能評価が可能になる。計算パターンの統計的モデリングにより、多様なDNNワークロードを正確に反映しつつ、ベンチマーク数と実行時間を削減する。

ABSTRACT

Deep neural network (DNN) architectures, such as convolutional neural networks (CNN), involve heavy computation and require hardware, such as CPU, GPU, and AI accelerators, to provide the massive computing power. With the many varieties of AI hardware prevailing on the market, it is often hard to decide which one is the best to use. Thus, benchmarking AI hardware effectively becomes important and is of great help to select and optimize AI hardware. Unfortunately, there are few AI benchmarks available in both academia and industry. Examples are BenchNN[1], DeepBench[2], and Dawn Bench[3], which are usually a collection of typical real DNN applications. While these benchmarks provide performance comparison across different AI hardware, they suffer from a number of drawbacks. First, they cannot adapt to the emerging changes of DNN algorithms and are fixed once selected. Second, they contain tens to hundreds of applications and take very long time to finish running. Third, they are mainly selected from open sources, which are restricted by copyright and are not representable to proprietary applications. In this work, a synthetic benchmarks framework is firstly proposed to address the above drawbacks of AI benchmarks. Instead of pre-selecting a set of open-sourced benchmarks and running all of them, the synthetic approach generates only a one or few benchmarks that best represent a broad range of applications using profiled workload characteristics data of these applications. Thus, it can adapt to emerging changes of new DNN algorithms by re-profiling new applications and updating itself, greatly reduce benchmark count and running time, and strongly represent DNN applications of interests. The generated benchmarks are called AI Matrix, serving as a performance benchmarks matching the statistical workload characteristics of a combination of applications of interests.

研究の動機と目的

• 既存のDNNベンチマークに見られる固定的で大規模かつ著作権制限のある問題を解決すること。
• 実世界のDNNワークロード特性を反映する合成ベンチマークを生成することで、効率的かつ代表的なハードウェア性能評価を可能にすること。
• 新規DNNアーキテクチャへの動的適応を可能にするために、新規アプリケーションの再プロファイリングを通じて実現すること。
• 多様なDNNワークロードの代表性を維持しつつ、必要なベンチマーク数を削減すること。
• スケーラブルで再利用可能かつ法的に安全な、既存のオープンソースベンチマークスイートの代替案を提供すること。

提案手法

• 実DNNアプリケーションをプロファイリングし、レイヤー種別、テンソル形状、計算強度などの統計的ワークロード特徴を抽出する。
• プロファイリングされたデータをもとに、ターゲットワークロードの統計的分布と一致する最小限の代表的ベンチマーク群（AI Matrix）を合成生成する。
• プロファイリングされた統計に基づいて、制御されたアーキテクチャ的・計算的特性を持つ合成DNNモデルを生成する。
• FLOPs、メモリアクセスパターン、レイヤー接続性といった、パフォーマンスに重要な特徴を保持するようにする。
• 新規DNNモデルの再プロファイリングにより、ベンチマークセットを動的に更新し、合成生成プロセスをそれに合わせて調整する。
• 複数のハードウェアプラットフォームで実DNNアプリケーションと比較することで、AI Matrixの代表性を検証する。

実験結果

リサーチクエスチョン

• RQ1 合成ベンチマークフレームワークは、幅広い実DNNアプリケーションのパフォーマンス特性を効果的に再現できるか？
• RQ2 AI Matrixは、パフォーマンス比較の正確性を維持しつつ、ベンチマーク数と実行時間をどの程度削減できるか？
• RQ3 AI Matrixは、手動での再設定を必要とせずに、新規DNNアーキテクチャにどの程度適応できるか？
• RQ4 AI Matrixは、既存のオープンソースDNNベンチマークの法的に安全でスケーラブルな代替案として機能できるか？
• RQ5 計算的およびメモリ的挙動の観点から、AI Matrixは実世界のDNNワークロードをどの程度代表しているか？

主な発見

• AI Matrixは、必要なベンチマーク数を大幅に削減しながらも、実DNNワークロードの高い代表性を維持している。
• 従来の数百のモデルを含む伝統的スイートと比較して、実行時間を最小限に抑えることで、ベンチマークサイクルを高速化できる。
• 新規DNNアーキテクチャへの適応は再プロファイリングにより実現され、深層学習の動向に常に最新の状態で対応できる。
• AI Matrixが生成する合成ベンチマークは、多様なハードウェアプラットフォームで実DNNアプリケーションのパフォーマンストレンドと非常に近い結果を示している。
• 事前存在するモデル重みやコードに依存しないため、著作権問題を回避でき、特許や商業的利用にも適している。
• 評価結果から、AI Matrixはフルベンチマークスイートと同等の信頼性のあるハードウェアランク付けとパフォーマンスインサイトを提供していることが示された。