[論文レビュー] An Evaluation of Edge TPU Accelerators for Convolutional Neural Networks

Kiran Seshadri, Berkin Akin+3 more|arXiv (Cornell University)|Feb 20, 2021

Parallel Computing and Optimization Techniques被引用数 10

ひとこと要約

この論文は、423,000個の畳み込みニューラルネットワークを対象に、3つのエッジTPUアクセラレータクラスを評価し、モデル構造とアクセラレータ設定に基づくマイクロアーキテクチャ的洞察を明らかにした。97％の精度とサイクル正確なシミュレータとの>99％のランク相関を達成する、グラフニューラルネットワークベースの学習モデルを提案し、高速なハードウェア/ソフトウェア共同設計を可能にした。

ABSTRACT

Edge TPUs are a domain of accelerators for low-power, edge devices and are widely used in various Google products such as Coral and Pixel devices. In this paper, we first discuss the major microarchitectural details of Edge TPUs. Then, we extensively evaluate three classes of Edge TPUs, covering different computing ecosystems, that are either currently deployed in Google products or are the product pipeline, across 423K unique convolutional neural networks. Building upon this extensive study, we discuss critical and interpretable microarchitectural insights about the studied classes of Edge TPUs. Mainly, we discuss how Edge TPU accelerators perform across convolutional neural networks with different structures. Finally, we present our ongoing efforts in developing high-accuracy learned machine learning models to estimate the major performance metrics of accelerators such as latency and energy consumption. These learned models enable significantly faster (in the order of milliseconds) evaluations of accelerators as an alternative to time-consuming cycle-accurate simulators and establish an exciting opportunity for rapid hard-ware/software co-design.

研究の動機と目的

• 異なるアーキテクチャを有する423,000個の畳み込みニューラルネットワークを対象に、3つの異なるエッジTPUアクセラレータクラスの性能を評価すること。
• モデルサイズ、演算タイプ（例：3×3畳み込みなど）およびパラメータ数に応じてエッジTPUの性能がどのように変化するかを解釈可能なマイクロアーキテクチャ的洞察を抽出すること。
• I/O帯域幅やパラメータキャッシュなどのアクセラレータタイルサイズと設定パrameterが、推論遅延に与える影響を調査すること。
• サイクル正確なシミュレーションの代替手段として、正確なパフォーマンス指標（遅延、エネルギー）を推定できる学習済み機械学習モデルの開発と検証を行うこと。

提案手法

• 本研究では、2次元配列の処理要素（PE）を有するテンプレートベースでパラメータ化されたエッジTPUマイクロアーキテクチャを用い、各PEにはSIMD MACユニットを備えた複数のコンピューティングレーンが含まれる。
• 各PEには、活性化関数と部分結果を格納する共有PEメモリと、高スルーレート計算を支援するためのマルチバンクコアメモリ（モデルパラメータを格納）が搭載されている。
• ソフトウェアスタックにはTensorFlow Liteモデルが使用され、ワークロードはコンパイラ、ランタイム、ハードウェアシミュレーションを含むフルスタックを通じてコンパイルおよび実行される。
• グラフニューラルネットワーク（GNN）を用いて、ニューラルネットワークグラフの潜在表現を学習し、推論遅延やエネルギー消費量などのパフォーマンス指標を予測する。
• GNNモデルは254,160個のNASBenchモデルからなるデータセットで学習され、16個のバッチサイズと0.001の初期学習率などのハイパーパramータを用いて、84,680個のホールドアウトテスト例で評価された。
• パフォーマンス推定の精度は、サイクル正確なシミュレータからの真値と比較して、平均絶対誤差、スピアマン順位相関、ピアソン相関を用いて評価された。

Figure 1: Overview of the template-based machine learning accelerator used for architecture exploration.

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャ、サイズ、演算タイプを有する畳み込みニューラルネットワークにおいて、エッジTPUのパフォーマンスはどのように変化するか？
• RQ2 トレーニング可能なパラメータ数が異なるモデルにおいて、アクセラレータタイルサイズとI/O帯域幅が推論遅延に与える影響は何か？
• RQ3 サイクル正確なシミュレーションと比較して、学習済みモデルがエッジTPUのパフォーマンス指標を推定する際にどの程度有効であるか？
• RQ4 パラメータキャッシュはどのような状況でパフォーマンスを向上させ、どのような状況で限界効果が現れるか？
• RQ5 高いランク相関を達成する学習モデルは、高価なシミュレータに代わってハードウェア/ソフトウェア共同設計およびデザインスペース探索において使用可能か？

主な発見

• 学習済みモデルは、3つのエッジTPU設定において、平均して96.8％から97.9％の精度で推論遅延を推定し、平均絶対誤差は約3％であった。
• 真値の遅延とのスピアマン順位相関は0.99977から0.99981、ピアソン相関は0.99959から0.99975を示し、順位の忠実度がほぼ完璧であることを示した。
• 高パラメータ数（例：多数の3×3畳み込み）を持つ大規模モデルでは、より高いI/O帯域幅を有するアクセラレータ設定V2が他の設定を上回り、パラメータキャッシュは限界効果が顕著に現れた。
• パラメータ数が少ない小規模モデルでは、パラメータキャッシュの恩恵がより顕著に現れ、遅延が低減した。
• 推論遅延は、トレーニング可能なパラメータ数と強く相関しており、これはI/O帯域幅が、PE数やコンピューティングコア数よりもパフォーマンスの主なボトルネックであることを示唆している。
• アクセラレータタイルサイズを小さくすることで、同程度のパフォーマンスを維持できることが示され、多くのワークロードにおいて、より小型で効率的なタイルが実現可能であることが示された。

Figure 2: Convolutional layer loop nest (without batching) and its mapping on an Edge TPU with one PE and four SIMD lanes (# MACs). Input and output activations are stored in PE memory. The weight parameters are stored in core memory.