[論文レビュー] Enabling energy efficient machine learning on a Ultra-Low-Power vision sensor for IoT

Francesco Paissan, M. Gottardi+1 more|arXiv (Cornell University)|Feb 2, 2021

CCD and CMOS Imaging Sensors被引用数 5

ひとこと要約

本論文は、IoTアプリケーションにおける超低消費電力ビジョンセンサー向けに、リアルタイムかつエネルギー効率の良い機械学習パイプラインを提示する。ハードウェア内でのモーショントラッキングを活用することで、バックグラウンドフィルタリングを実現し、計算負荷を低減する。システムは7.5mWの消費電力で8msの推論遅延を達成し、リソース制限のあるデバイスにおいても性能を損なわずに高い効率性を示している。

ABSTRACT

The Internet of Things (IoT) and smart city paradigm includes ubiquitous technology to extract context information in order to return useful services to users and citizens. An essential role in this scenario is often played by computer vision applications, requiring the acquisition of images from specific devices. The need for high-end cameras often penalizes this process since they are power-hungry and ask for high computational resources to be processed. Thus, the availability of novel low-power vision sensors, implementing advanced features like in-hardware motion detection, is crucial for computer vision in the IoT domain. Unfortunately, to be highly energy-efficient, these sensors might worsen the perception performance (e.g., resolution, frame rate, color). Therefore, domain-specific pipelines are usually delivered in order to exploit the full potential of these cameras. This paper presents the development, analysis, and embedded implementation of a realtime detection, classification and tracking pipeline able to exploit the full potential of background filtering Smart Vision Sensors (SVS). The power consumption obtained for the inference - which requires 8ms - is 7.5 mW.

研究の動機と目的

• 従来のコンピュータビジョンにおけるエネルギーおよび計算負荷の課題を、超低消費電力ビジョンセンサーを活用することで解決すること。
• ハードウェア内でのモーション検出を活用したドメイン特化型パイプラインを構築し、スマートビジョンセンサー（SVS）の効率性と性能を最大化すること。
• リソース制限のあるハードウェア上で、最小限の消費電力でリアルタイムの検出、分類、トラッキングを実現すること。
• 低消費電力センサーにおける解像度およびフレームレートの低下にもかかわらず、高い認識性能を維持できることを実証すること。

提案手法

• パイプラインは、スマートビジョンセンサー（SVS）におけるハードウェア内バックグラウンドフィルタリングを活用し、移動物体のみを検出することで、データ帯域幅と処理負荷を低減する。
• リアルタイムのオブジェクト検出および分類モデルをセンサーの組み込みプロセッサ上に直接実装し、外部メモリへのデータ転送を最小限に抑える。
• 低消費電力推論に最適化された軽量ニューラルネットワークを採用し、モデルの量子化およびプルーニング技術を用いて計算フットプリントを削減する。
• 必要な処理のみをオフロードする非一様アーキテクチャに統合することで、エネルギー消費を最小限に抑える。
• 1フレームあたり8msの推論が実現され、超低消費電力プラットフォーム上でリアルタイム性能を達成する。
• 実装はSLOHA 2021ワークショップで発表されたプロトタイプシステムを用いて検証され、消費電力および遅延の測定値が報告されている。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム性能を損なわずに、超低消費電力ビジョンセンサーに効率的に機械学習をデプロイする方法は何か？
• RQ2 バックグラウンドフィルタリングを施したビジョンセンサー上で、リアルタイムの検出・分類・トラッキングパイプラインの達成可能な電力効率はどの程度か？
• RQ3 ハードウェア内でのモーション検出は、ビジョンベースのIoTシステムにおける計算およびエネルギー負荷をどの程度低減できるか？
• RQ4 軽量ニューラルネットワークは、低解像度・低フレームレートのセンサーにおいても、許容可能な認識精度を達成しつつ、超低消費電力を維持できるか？

主な発見

• 提案されたパイプラインは、1フレームあたり8msの推論遅延を達成し、ターゲットハードウェア上でリアルタイム動作を実現している。
• 推論中はわずか7.5mWの消費電力で、ビジョンベースのIoTアプリケーションにおいて顕著なエネルギー効率性を示している。
• ハードウェア内バックグラウンドフィルタリングの活用により、データ処理負荷が顕著に低減され、低消費電力プロセッサ上でも効率的な運用が可能になった。
• ドメイン特化型最適化のおかげで、センサーの解像度およびフレームレートが低下しても、認識性能を効果的に維持できている。
• 実装はSLOHA 2021ワークショップで検証され、発表されており、実世界の非一様アーキテクチャへの実現可能性が確認された。