[論文レビュー] Millimeter-Scale Ultra-Low-Power Imaging System for Intelligent Edge Monitoring

Andrea Bejarano-Carbó, Hyochan An+6 more|arXiv (Cornell University)|Mar 9, 2022

CCD and CMOS Imaging Sensors被引用数 4

ひとこと要約

本稿では、超低消費電力（ULP）ディープラーニングおよび画像処理を備えたミリメートルスケールのイメージングシステム（6.7 × 7 × 5 mm）を提案する。垂直に積み重ねたカスタムULP集積回路（IC）と動的電力管理、階層的イベント検出、ハイブリッド圧縮（H.264 + 変化検出）を採用することで、家庭監視シナリオにおいて平均49.6 µWの消費電力と7日間のバッテリーライフを達成。新規の画像補正ニューラルネットワークにより、ミリメートルスケールのレンズおよびフロントエンドの非理想性を補正した。

ABSTRACT

Millimeter-scale embedded sensing systems have unique advantages over larger devices as they are able to capture, analyze, store, and transmit data at the source while being unobtrusive and covert. However, area-constrained systems pose several challenges, including a tight energy budget and peak power, limited data storage, costly wireless communication, and physical integration at a miniature scale. This paper proposes a novel 6.7$ imes$7$ imes$5mm imaging system with deep-learning and image processing capabilities for intelligent edge applications, and is demonstrated in a home-surveillance scenario. The system is implemented by vertically stacking custom ultra-low-power (ULP) ICs and uses techniques such as dynamic behavior-specific power management, hierarchical event detection, and a combination of data compression methods. It demonstrates a new image-correcting neural network that compensates for non-idealities caused by a mm-scale lens and ULP front-end. The system can store 74 frames or offload data wirelessly, consuming 49.6$μ$W on average for an expected battery lifetime of 7 days.

研究の動機と目的

• ミリメートルスケールのシステムを用いて、長期間にわたり、目立たない、知能的なエッジ監視を可能にすること。
• 超タイトなエネルギー予算、限られたメモリ、高コストの無線送信、ミリメートルスケールのシステムにおける非理想なイメージングの課題に対処すること。
• サイズ、消費電力、メモリの制約があるシステム内にディープラーニングおよび画像処理機能を統合すること。
• ミニチューチャライズドオプティクスおよびULPフロントエンドによる画像歪みにもかかわらず、高いDNN精度を維持できるシステムを開発すること。
• エネルギー効率の良いデータ管理および圧縮を用いて、完全に独立して動作する埋め込みビジョンシステムとして、7日間のバッテリーライフを実証すること。

提案手法

• ワイヤーボンディング接続を用いて、パッケージ化されておらず、薄型化（150 µm）されたULP ICを垂直に積み重ね、フットプリントおよびシステム高さを最小限に抑える。
• 動作に応じた電力管理を実装し、アイドル時の消費電力を低減し、システムの各状態におけるエネルギー使用を最適化する。
• 階層的イベント検出（HED）を用いて、動きやイベント検出時のみに処理を起動することで、不要な計算を削減する。
• ハイブリッドデータ圧縮の適用：動画にはH.264、データエグレッションエネルギーと時間の削減には変化検出ベースの圧縮を用いる。
• ミリメートルスケールのレンズおよびULPフロントエンドが引き起こす幾何的および色の歪みを補正するための新規の画像補正ニューラルネットワークの設計。
• 環境光下で長期間運用可能となるよう、エネルギー回収ICを統合し、再充電の必要がない運用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ミリメートルスケールのイメージングシステムは、超低消費電力制約のもとで、どのように7日間のバッテリーライフを達成できるか？
• RQ2 電力管理、圧縮、画像補正技術のどの組み合わせが、制限されたミリメートルスケールのシステムで高いDNN精度を実現できるか？
• RQ3 ミニチューチャライズドオプティクスおよびULPフロントエンドによる画像歪みは、どのように効果的に補正可能か？DNN性能を維持できるか？
• RQ4 無線データエグレッションのエネルギーおよび時間的オーバーヘッドはどの程度か？ULPシステムにおいては、どのように最小限に抑えることができるか？
• RQ5 階層的検出および動的電力スケーリングを含むシステムレベル最適化は、スタンドアロンで動作する埋め込みビジョンシステムの運用ライフをどの程度延長できるか？

主な発見

• システムは平均消費電力49.6 µWを達成し、動きトリガー型のデータ処理を用いることで、連続動作下で7日間のバッテリーライフを実現した。
• H.264と変化検出ベースの圧縮の組み合わせにより、エグレッションエネルギーが3.1 mJ、エグレッション時間が5分に削減され、連続動作下でシステムのライフが13倍に延長された。
• 画像補正ニューラルネットワークにより、ミリメートルスケールの光学系およびULPフロントエンドが引き起こす幾何的および色の歪みを補正した後、DNN性能がほぼベースライン水準まで回復した。
• 112×112ピクセルのグレースケール入力パイプラインを実装し、50%のプルーニング、8ビットの量子化、パラメータ圧縮を適用しても、顔検出の精度が維持された。
• 無線モジュールは256 bpsで20 m、480 bpsで15 mの通信距離を達成し、それぞれ送信時間は106 sおよび56 sであった。これにより、実用的な無線データオフロードが可能となった。
• 画像やDNNデータを保持しない状態では、システム消費電力は7.35 µWにまで低下し、48日間のストレージライフを達成。10 kluxの照明下でエネルギー回収によりさらに延長可能である。