[論文レビュー] Accelerator-aware Neural Network Design using AutoML

Suyog Gupta, Berkin Akin|arXiv (Cornell University)|Mar 5, 2020

CCD and CMOS Imaging Sensors参考文献 11被引用数 49

ひとこと要約

本論文は Edge TPU 用にエッジ最適化された視覚モデルを設計するための accelerator-aware neural architecture search（NAS）を提案し、Coral および Pixel 4 デバイスで遅延-精度のトレードオフを改善する EfficientNet-EdgeTPU および MobilenetEdgeTPU を生み出す。遅延モデリング、ハードウェア認識型探索空間設計、そして NAS を組み合わせて、特定の加速器に合わせてモデルを調整する。

ABSTRACT

While neural network hardware accelerators provide a substantial amount of raw compute throughput, the models deployed on them must be co-designed for the underlying hardware architecture to obtain the optimal system performance. We present a class of computer vision models designed using hardware-aware neural architecture search and customized to run on the Edge TPU, Google's neural network hardware accelerator for low-power, edge devices. For the Edge TPU in Coral devices, these models enable real-time image classification performance while achieving accuracy typically seen only with larger, compute-heavy models running in data centers. On Pixel 4's Edge TPU, these models improve the accuracy-latency tradeoff over existing SoTA mobile models.

研究の動機と目的

• リソース制約のあるハードウェア上でのプライバシー保護と応答性の高い推論のために、オンデバイスMLを動機づける。
• ターゲット加速器と協調設計したアーキテクチャにより、ハンドクラフトされたモバイルモデルを上回ることができることを示す。
• 精度と遅延を最適化するための遅延推定手法とハードウェア認識型探索フレームワークを開発する。
• Edge TPU の利用を最大化するブロックを含むように探索空間をカスタマイズし、互換性のない演算を除外する。

提案手法

• ターゲットハードウェア上の遅延を推定する加速器性能予測子を用いて NAS を拡張する。
• モデルの遅延を推定するためにサイクル精度の Edge TPU シミュレータと、迅速な遅延推定のための解析的性能モデル（APM）を使用する。
• 遅延を精度とともに NAS の目的へ取り込み、多目的報酬として用いる。
• 利用率を改善するため、 fused inverted bottleneck convolutions などのハードウェア認識型ブロックを用いて探索空間を設計する。
• 展開性を確保するため、製品版 Edge TPU ソフトウェアでサポートされていない演算を除外する。
• EfficientNet-スタイルの複合スケーリングを用いてアーキテクチャをスケールし、バリアント (-S, -M, -L) を生成する。

実験結果

リサーチクエスチョン

• RQ1 accelerator-aware NAS は Edge TPU ハードウェア上で、手動で調整されたモバイルアーキテクチャを上回るモデルを発見できるか。
• RQ2 遅延推定手法（サイクルレベルのシミュレーションと解析モデル）は NAS の効率と結果にどのような影響を与えるか？
• RQ3 Coral 対 Pixel 4 のデプロイメントにおいて、Edge TPU の利用率と精度を最大化するアーキテクチャブロックは何か？
• RQ4 探索されたモデルは遅延、精度、デプロイ性の観点で、ベースラインのモバイルおよび効率的なネットワークとどのように比較されるか？

主な発見

• EfficientNet-EdgeTPU-S/M/L は Coral デバイスの Edge TPU において ResNet50 および Inception よりも実行時間が短く、精度が高い。
• MobilenetEdgeTPU モデルは Pixel 4 Edge TPU で top-1 精度 75.6% を達成し、MobilenetV3 より 30% 低遅延。
• NAS 生成モデルは Edge TPU ターゲットで既存のモバイルモデルと比較して精度-遅延パレートフロンティアを改善する。
• Pixel 4 では MobilenetEdgeTPU が Coral とは異なる遅延特性で動作し、ハードウェア特有の探索空間ニーズを浮き彫りにしている。
• accelerator-aware NAS は特定の Edge TPU 変種および製品スタックに合わせてモデルを調整することで、手動のアーキテクチャ設計を削減する。