[論文レビュー] Deploy Large-Scale Deep Neural Networks in Resource Constrained IoT Devices with Local Quantization Region

Yi Yang, Andy Chen+4 more|arXiv (Cornell University)|May 24, 2018

Advanced Neural Network Applications参考文献 20被引用数 7

ひとこと要約

本論文は、リソース制約のあるIoTデバイスに大規模なディープニューラルネットワークをデプロイするためのローカル量子化領域（LQR）手法を提案する。8ビットから1ビットの低精度で実装することで、最小限の精度低下（例：2ビットでトップ1精度が0.7%低下）を実現しながら、Intel Edisonでは最大2倍の高速化を達成した。このアプローチにより、乗算累積演算の効率的なテーブルルックアップ置換によって、低コストのハードウェアでも高複雑度のモデルが実用可能になる。

ABSTRACT

Implementing large-scale deep neural networks with high computational complexity on low-cost IoT devices may inevitably be constrained by limited computation resource, making the devices hard to respond in real-time. This disjunction makes the state-of-art deep learning algorithms, i.e. CNN (Convolutional Neural Networks), incompatible with IoT world. We present a low-bit (range from 8-bit to 1-bit) scheme with our local quantization region algorithm. We use models in Caffe model zoo as our example tasks to evaluate the effect of our low precision data representation scheme. With the available of local quantization region, we find implementations on top of those schemes could greatly retain the model accuracy, besides the reduction of computational complexity. For example, our 8-bit scheme has no drops on top-1 and top-5 accuracy with 2x speedup on Intel Edison IoT platform. Implementations based on our 4-bit, 2-bit or 1-bit scheme are also applicable to IoT devices with advances of low computational complexity. For example, the drop on our task is only 0.7% when using 2-bit scheme, a scheme which could largely save transistors. Making low-bit scheme usable here opens a new door for further optimization on commodity IoT controller, i.e. extra speed-up could be achieved by replacing multiply-accumulate operations with the proposed table look-up operations. The whole study offers a new approach to relief the challenge of bring advanced deep learning algorithm to resource constrained low-cost IoT device.

研究の動機と目的

• 低コストでリソースが制限されたIoTデバイスに高複雑度のディープニューラルネットワークをデプロイする課題に対処すること。
• 顕著な精度低下を伴わずに、ディープラーニング推論における計算複雑性とメモリ使用量を低減すること。
• コンsumer用IoTコントローラーにおけるエッジAIのための実用的ソリューションとして、8ビットから1ビットの低ビット幅量子化を可能にすること。
• さらなる高速化を実現するため、乗算累積演算をテーブルルックアップに置き換える可能性を調査すること。
• Intel Edisonのような実世界のIoTプラットフォームにおける低精度モデルの実用的適用を実証すること。

提案手法

• 各層や特徴マップごとに量子化を適応させるローカル量子化領域（LQR）アルゴリズムを導入し、グローバル量子化よりも精度を向上させる。
• モデルサイズと計算コストを削減するために、8ビット、4ビット、2ビット、1ビットの低ビット表現を用いる。
• 推論パイプライン内で標準的な乗算累積（MAC）演算を効率的なテーブルルックアップに置き換える。
• 実世界の関連性を保証するため、Caffeモデルズーライブラリの事前学習済みモデルを用いて評価を行う。
• 精度低下を最小限に抑えつつ、ハードウェア効率を最大化するように量子化プロセスを最適化する。
• Intel Edisonプラットフォームにこの手法を実装し、リアルタイム性能と高速化を検証する。

実験結果

リサーチクエスチョン

• RQ1 ローカル量子化領域を用いた低ビット幅量子化は、リソース制約のあるIoTデバイスでも高いモデル精度を維持できるか？
• RQ2 8ビット以下の精度表現を用いることで、計算複雑性をどの程度低減できるか？
• RQ3 さまざまなビット幅において、LQR手法はグローバル量子化と比較して、モデル精度をどの程度効果的に保持できるか？
• RQ4 テーブルルックアップベースの推論は、低性能ハードウェアでMAC演算を置き換えることで顕著な高速化を達成できるか？
• RQ5 1ビットまたは2ビット量子化を用いる場合、モデル精度と計算効率のトレードオフはどのようになるか？

主な発見

• 8ビット量子化スキームは、Intel Edisonプラットフォームでトップ1およびトップ5精度を維持しつつ、2倍の高速化を達成した。
• 2ビット量子化スキームではトップ1精度がたった0.7%低下するにとどまり、低精度デプロイの高い実現可能性を示した。
• MAC演算をテーブルルックアップに置き換えることで、コンsumer用IoTコントローラーでも効率的な推論が可能になった。
• 4ビット、2ビット、1ビットの低ビットスキームは、計算複雑性を顕著に低減しながらも、モデルの有用性を保持した。
• ローカル量子化領域アプローチは、局所的なデータ分布に適応することで、グローバル量子化を上回る精度保持を実現した。
• この手法により、性能を犠牲にすることなく、低コストのIoTデバイスに大規模なディープニューラルネットワークを実用的にデプロイできるようになった。