[論文レビュー] Enabling Embedded Inference Engine with ARM Compute Library: A Case Study

Dawei Sun, Shaoshan Liu+1 more|arXiv (Cornell University)|Apr 12, 2017

Parallel Computing and Optimization Techniques参考文献 3被引用数 7

ひとこと要約

この論文は、ARM Compute Library (ACL) を用いて埋め込み型ディープラーニング推論エンジンをゼロから構築する事例研究を提示しており、低価格のSoC上で単純なモデルを扱う場合、このアプローチは開発時間を短縮し、パフォーマンスを向上させることを示している。TensorFlowより25%の高速化を達成しており、既存のフレームワークへの移植がより効率的であるという仮定に疑問を呈している。

ABSTRACT

When you need to enable deep learning on low-cost embedded SoCs, is it better to port an existing deep learning framework or should you build one from scratch? In this paper, we share our practical experiences of building an embedded inference engine using ARM Compute Library (ACL). The results show that, contradictory to conventional wisdoms, for simple models, it takes much less development time to build an inference engine from scratch compared to porting existing frameworks. In addition, by utilizing ACL, we managed to build an inference engine that outperforms TensorFlow by 25%. Our conclusion is that, on embedded devices, we most likely will use very simple deep learning models for inference, and with well-developed building blocks such as ACL, it may be better in both performance and development time to build the engine from scratch.

研究の動機と目的

• ARM Compute Library (ACL) を用いてカスタム埋め込み推論エンジンを構築する代替手段として、既存のディープラーニングフレームワークを移植するのではなく、その実現可能性と効率性を評価すること。
• 低価格の埋め込みSoC上で、ゼロから構築する方法と、既存のフレームワーク（例：TensorFlow）を移植する方法との間で、開発時間と推論パフォーマンスを比較すること。
• ACLのような高度に最適化された低レベルのビルディングブロックが、リソース制限のある環境において、単純なディープラーニングモデルの高速かつ効率的な推論を可能にするかどうかを評価すること。
• 埋め込み推論の展開において、既存フレームワークの移植が最良の選択肢であるという一般的な常識に疑問を呈すること。

提案手法

• 著者らは、コンvolutionや活性化関数などの一般的なディープラーニング演算に最適化されたキーナルを活用し、ARM Compute Library (ACL) を用いてゼロからカスタム推論エンジンを実装した。
• エンジンは、最小限のメモリ使用量と高い計算効率を重視した、低価格のARMベースの埋め込みシステム向けに設計された。
• ディープラーニング層のためのACLの高度に最適化された、手動でチューニングされたキーナルを再利用し、フルフレームワーク統合のオーバーヘッドを回避した。
• パフォーマンスは、同じハードウェア上で動作するTensorFlow Liteと比較してベンチマークされた。使用したのは、最小限の複雑性を持つ標準的な畳み込みモデルである。
• 開発プロセスでは、モジュラー設計とACLのAPIへの直接統合を重視し、パフォーマンスを最大化するとともに、コードの肥大化を最小限に抑えた。
• 推論エンジンは、実際の埋め込みハードウェア上で評価され、同一のモデルとハードウェア条件下での推論遅延とスループットが測定された。

実験結果

リサーチクエスチョン

• RQ1 低価格の埋め込みシステム上で単純なモデルを扱う場合、ARM Compute Library を用いてゼロから推論エンジンを構築することは、既存のディープラーニングフレームワークを移植するのと比べて、開発時間の点でより効率的であるか？
• RQ2 ARM Compute Library を用いて構築したカスタムエンジンは、低価格SoC上で、TensorFlow などの既存フレームワークを上回る推論速度を達成できるか？
• RQ3 ACL のような最適化された低レベルライブラリは、埋め込みデバイスへのディープラーニングモデルのデプロイに伴う複雑さとオーバーヘッドをどの程度軽減できるか？
• RQ4 フルフレームワークを用いるのと比較して、最小限で手動最適化されたエンジンによるパフォーマンス向上が、保守性と移植性のトレードオフを上回るか？

主な発見

• 単純なディープラーニングモデルにおいて、ARM Compute Library を用いてゼロから推論エンジンを構築するには、既存フレームワークを移植するよりも著しく短い開発時間で済んだ。
• カスタム推論エンジンは、同じ低価格の埋め込みSoC上で動作するTensorFlowと比較して、推論速度で25%の高速化を達成した。
• ACL の最適化されたキーナルの使用により、フルディープラーニングフレームワークの複雑さとリソースオーバーヘッドなしに高いパフォーマンスを実現できた。
• 結果は、埋め込み推論デプロイのためには既存フレームワークの移植が最良の方法であるという一般的な仮定に疑問を呈している。
• リソース制限のある埋め込みシステムでは、最小限でACL駆動の推論エンジンが、フレームワークベースの代替手段よりも高速かつ迅速に開発可能であることが示された。