[論文レビュー] Deploying Deep Neural Networks in the Embedded Space

Stylianos I. Venieris, Alexandros Kouris+1 more|arXiv (Cornell University)|Jun 22, 2018

Advanced Neural Network Applications参考文献 25被引用数 9

ひとこと要約

本論文は、FPGAを用いた高速化を焦点に、組み込みおよびモバイルプラットフォームにおける深層ニューラルネットワーク（DNN）のデプロイを最適化する包括的なフレームワークを提示する。fpgaConvNetによるCNNからFPGAへのマッピングを自動化するツールフロー、低精度のカスケード型分類器、複数のCNNの並列処理、近似LSTM、ドメイン特化DNN設計を導入し、GPUベースラインと比較して、最大6.8倍のパフォーマンス・パワーレート向上および6.5倍の高速な推論を達成した。

ABSTRACT

Recently, Deep Neural Networks (DNNs) have emerged as the dominant model across various AI applications. In the era of IoT and mobile systems, the efficient deployment of DNNs on embedded platforms is vital to enable the development of intelligent applications. This paper summarises our recent work on the optimised mapping of DNNs on embedded settings. By covering such diverse topics as DNN-to-accelerator toolflows, high-throughput cascaded classifiers and domain-specific model design, the presented set of works aim to enable the deployment of sophisticated deep learning models on cutting-edge mobile and embedded systems.

研究の動機と目的

• リソース制限のある組み込みおよびモバイルプラットフォームに複雑なDNNを効率的にデプロイする課題に対処すること。
• FPGAを用いたDNNアクセラレータ生成を自動化することで、ディープラーニング研究者とハードウェアアクセラレータの間のギャップを埋めること。
• 自律ドローンやロボットなどのリアルタイムAIアプリケーションに適した低遅延、高スルーレート、エネルギー効率の高い推論を実現すること。
• ターゲットとなる組み込みハードウェアに最適化された、精度と計算コストのバランスが取れたドメイン特化DNNモデルを開発すること。
• 時間制約のあるシステムにおいて、近似計算技術を用いて実行時における精度と計算量のトレードオフを探索すること。

提案手法

• fpgaConvNetは、同期データフローモデルと数学的最適化を用いて、スルーレートと遅延の両面で設計空間を探索することで、CNNからFPGAへのマッピングを自動化する。
• fpgaConvNet内での遅延最適化アプローチにより、バッチフリーの実行が可能となり、低遅延のハードウェア生成が実現される。
• CascadeCNNは、低精度の量子化とカスケード推論を用いることで、再トレーニングデータを必要とせず、高スルーレートかつプライバシー保護型のDNNを実現する。
• f-CNN${}^\text{x}$pは、厳密な遅延制約を満たしつつ、複数のCNNを同時に実行可能な並列FPGAアーキテクチャを提供する。
• 近似計算フレームワークは、LSTMのプルーニングとFPGAハードウェアマッピングを同時に最適化し、計算時間制約を満たしつつ精度を維持する。
• ドメイン特化DNN設計は、カスタムの精度-計算コスト指標を用いて、Odroid-XU4 や Raspberry Pi 3 などのプラットフォーム上でモデル構造とデプロイ効率を共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 DNN推論を、高スルーレートや低遅延といった多様なパフォーマンス要件を満たすように、FPGAに効率的にマッピングする方法は何か？
• RQ2 プライバシーに配慮したアプリケーションにおいて、再トレーニングデータを必要とせずに、どの程度まで低精度算術をDNNに活用できるか？
• RQ3 複数のCNNを、厳密なエンドツーエンド遅延制約を満たしながら、FPGA上で効率的に並列実行する方法は何か？
• RQ4 時間制約のある組み込みシステムにおいて、近似計算技術を用いてLSTM推論を高速化し、アプリケーションレベルの精度を損なわずに実現できるか？
• RQ5 DNNモデルをターゲットとなる組み込みハードウェアと共同で設計することで、精度、遅延、エネルギー効率の最適なトレードオフを達成できるか？

主な発見

• fpgaConvNetは、同じ消費電力制約下で、最適化された組み込みGPU実装と比較して最大6.65倍のパフォーマンス向上を達成した。
• 遅延最適化されたfpgaConvNetアプローチにより、バッチフリー推論が可能となり、顕著に遅延が低減され、リアルタイムアプリケーションをターゲットにした。
• CascadeCNNは、再トレーニングデータを必要とせず、極めて低精度の算術（例：4ビット）を用いた高スルーレート推論を実現し、プライバシーが重要な展開に適している。
• f-CNN${}^\text{x}$pは、複数のCNN環境において、並列実行を最適化することで、組み込みGPU設計と比較して最大6.8倍のパフォーマンス・パワーレート向上を達成した。
• 近似LSTMフレームワークは、ベースラインアクセラレータと比較して、目標精度に到達するまでの時間を6.5倍短縮した一方で、同じ時間予算下で25倍の精度向上を達成した。
• ドローンベースの車両検出を想定したドメイン特化DNN設計は、Odroid-XU4およびRaspberry Pi 3で、精度と推論速度のバランスが最良であり、標準モデルを上回る計算効率を実現した。