[论文解读] Millimeter-Scale Ultra-Low-Power Imaging System for Intelligent Edge Monitoring

Andrea Bejarano-Carbó, Hyochan An+6 more|arXiv (Cornell University)|Mar 9, 2022

CCD and CMOS Imaging Sensors被引用 4

一句话总结

本文提出了一款6.7 × 7 × 5 mm、毫米级的成像系统，采用超低功耗（ULP）深度学习与图像处理技术，实现智能边缘监控。通过垂直堆叠定制的ULP集成电路，并结合动态电源管理、分层事件检测以及混合压缩（H.264 + 变化检测）技术，系统在家庭监控场景下实现了49.6 µW的平均功耗和7天的电池续航时间，同时通过一种新型图像校正神经网络，有效补偿了毫米级镜头和前端非理想性带来的影响。

ABSTRACT

Millimeter-scale embedded sensing systems have unique advantages over larger devices as they are able to capture, analyze, store, and transmit data at the source while being unobtrusive and covert. However, area-constrained systems pose several challenges, including a tight energy budget and peak power, limited data storage, costly wireless communication, and physical integration at a miniature scale. This paper proposes a novel 6.7$ imes$7$ imes$5mm imaging system with deep-learning and image processing capabilities for intelligent edge applications, and is demonstrated in a home-surveillance scenario. The system is implemented by vertically stacking custom ultra-low-power (ULP) ICs and uses techniques such as dynamic behavior-specific power management, hierarchical event detection, and a combination of data compression methods. It demonstrates a new image-correcting neural network that compensates for non-idealities caused by a mm-scale lens and ULP front-end. The system can store 74 frames or offload data wirelessly, consuming 49.6$μ$W on average for an expected battery lifetime of 7 days.

研究动机与目标

• 通过毫米级系统实现长期、无感、智能的边缘监控。
• 应对超紧约束的功耗预算、有限的内存、高成本的无线传输以及毫米级系统中的非理想成像问题。
• 在尺寸、功耗和内存受限的系统中集成深度学习与图像处理能力。
• 开发一种系统，即使在微型化光学系统和ULP前端导致的图像失真下，仍能保持高DNN精度。
• 展示一种完全功能化、独立运行的嵌入式视觉系统，通过高效能数据管理与压缩技术，实现7天电池续航。

提出的方法

• 采用线键合互连技术，将未封装、减薄至150 µm的ULP集成电路垂直堆叠，以最小化面积和系统高度。
• 实现基于行为特征的动态电源管理，降低空闲功耗，并优化系统各状态下的能量使用。
• 采用分层事件检测（HED）技术，在检测到运动或事件时才触发处理，从而减少不必要的计算。
• 应用混合数据压缩技术：使用H.264压缩视频，结合基于变化检测的压缩方法，以降低数据外传的能耗和时间。
• 设计一种新型图像校正神经网络，用于补偿毫米级镜头和ULP前端引入的几何畸变与色彩失真。
• 集成能量采集IC，可在环境光条件下延长待机寿命，实现无需充电的长期部署。

实验结果

研究问题

• RQ1 毫米级成像系统如何在超低功耗约束下实现7天电池续航的持续运行？
• RQ2 哪些电源管理、压缩与图像校正技术的组合，能够在资源受限的毫米级系统中实现高DNN精度？
• RQ3 如何有效校正微型化光学系统与ULP前端导致的图像失真，以保持DNN性能？
• RQ4 无线数据外传的能耗与时间开销是多少？在ULP系统中如何将其最小化？
• RQ5 系统级优化（包括分层检测与动态功耗调节）在独立嵌入式视觉系统中，能在多大程度上延长其工作寿命？

主要发现

• 系统实现了49.6 µW的平均功耗，在持续运行并采用运动触发数据处理的条件下，可实现7天电池续航。
• H.264与基于变化检测的压缩组合将外传能耗降低至3.1 mJ，外传时间缩短至5分钟，在持续运行下使系统寿命延长13倍。
• 图像校正神经网络在对毫米级光学系统引起的几何与色彩失真进行校正后，使DNN性能恢复至接近基线水平。
• 系统实现了112×112像素灰度输入处理流水线，支持50%剪枝、8位量化与参数压缩，同时保持可接受的面部检测精度。
• 无线收发器在256 bps速率下实现20 m通信距离，480 bps速率下实现15 m通信距离，对应发射时间分别为106 s与56 s，支持实用的无线数据卸载。
• 在不保留任何图像或DNN数据的前提下，系统功耗仅为7.35 µW，实现48天待机寿命，且在10 klux光照条件下可通过能量采集进一步延长。