[論文レビュー] Deep Learning on Edge TPUs

Andreas M. Kist, Kist, Andreas M|arXiv (Cornell University)|Aug 31, 2021

CCD and CMOS Imaging Sensors被引用数 11

ひとこと要約

この論文は、特にコンピュータビジョンタスク向けに、低消費電力で高効率なハードウェアアクセラレータとしてのGoogle Edge TPUをレビューしている。モデルがそのメモリに収まる場合、Edge TPUは他のアクセラレータよりも1ワットあたりの推論速度で優れており、最小限の遅延と消費電力でリアルタイムのデバイス内画像および動画処理を可能にしている。

ABSTRACT

Computing at the edge is important in remote settings, however, conventional hardware is not optimized for utilizing deep neural networks. The Google Edge TPU is an emerging hardware accelerator that is cost, power and speed efficient, and is available for prototyping and production purposes. Here, I review the Edge TPU platform, the tasks that have been accomplished using the Edge TPU, and which steps are necessary to deploy a model to the Edge TPU hardware. The Edge TPU is not only capable of tackling common computer vision tasks, but also surpasses other hardware accelerators, especially when the entire model can be deployed to the Edge TPU. Co-embedding the Edge TPU in cameras allows a seamless analysis of primary data. In summary, the Edge TPU is a maturing system that has proven its usability across multiple tasks.

研究の動機と目的

• リソース制限があり、遠隔地に位置する環境において、深層学習モデルをデプロイするためのEdge TPUの能力を評価すること。
• DNNモデルをEdge TPUハードウェアにデプロイする際の主な技術的ステップと制約を特定すること。
• 他のハードウェアアクセラレータ（例：NVIDIA Jetson、Intel Movidius）と比較して、Edge TPUの速度、電力効率、および対応演算の観点から、パフォーマンスを評価すること。
• スマートカメラ、IoTデバイス、マルチモーダルデータ処理などの分野におけるEdge TPUの実用的応用可能性を検討すること。
• 特にint8精度に限定され、演算の対応が不完全である点を含む、Edge TPUの制限を評価し、緩和戦略を提案すること。

提案手法

• 著者は、ハードウェア仕様、対応演算、推論パフォーマンスに焦点を当てた、Edge TPUアーキテクチャの包括的レビューを実施した。
• TensorFlow Liteを用いたモデルデプロイワークフローの評価、特にモデルの量子化およびEdge TPU互換フォーマットへの変換を含めた。
• 標準的な指標（1ワットあたりの画像枚数）を用いて、複数のコンピュータビジョンタスク（例：画像分類、セマンティックセグメンテーション）におけるベンチマーク結果の分析を行った。
• スマートカメラ（例：Darcy、Vision AI、MP Cam）およびネットワーク接続ストレージシステムへの統合を含む、実世界のデプロイ事例を検討した。
• Edge TPUにモデルをデプロイする際のパフォーマンス低下を軽減するためのアーキテクチャ調整およびファインチューニング技術について検討した。
• アクセラレータ間での精度サポート（int8のみ）と演算カバレッジ（2021年7月現在、約50％の演算に既知の制限あり）の比較分析を含む。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルの推論効率と消費電力の観点から、Edge TPUは他のハードウェアアクセラレータと比べてどのように異なるか？
• RQ2 DNNモデルをEdge TPUにデプロイする際の主な技術的課題と必要なステップは何か？
• RQ3 どのコンピュータビジョンタスクでEdge TPUが優れたパフォーマンスを示し、どのような条件下でそれが成立するか？
• RQ4 演算の対応と精度の観点から、Edge TPUの制限は何か、そしてそれらをどのように緩和できるか？
• RQ5 特にマルチモーダルまたは埋め込み型IoTシステムにおいて、Edge TPUで実現可能な将来の応用は何か？

主な発見

• Edge TPUは、特定のモデルにおいて最大2 TOPS per wattを達成し、他のアクセラレータよりも1ワットあたりの画像枚数で優れている。
• モデル全体がオンチップメモリに収まる状況では、高速かつ低遅延の推論が可能になるため、Edge TPUは特にその分野で優れた性能を発揮する。
• 制限があるにもかかわらず、アーキテクチャ調整とファインチューニングにより、int8のみの精度でもモデルの精度を維持できる。
• 2021年7月現在、Edge TPUは増加する演算セットをサポートしているが、約50％の演算に既知の制限がある。
• 統合型Edge TPUを搭載したスマートカメラは、直接デバイス内での画像分析を可能にし、送信するデータ量（推論結果のみ）を削減する。
• Edge TPUは、IoTデバイスや埋め込みシステムなど、遠隔地や低消費電力環境におけるエッジデプロイに適している。