[论文解读] Enabling energy efficient machine learning on a Ultra-Low-Power vision sensor for IoT

Francesco Paissan, M. Gottardi+1 more|arXiv (Cornell University)|Feb 2, 2021

CCD and CMOS Imaging Sensors被引用 5

一句话总结

本文提出了一种面向物联网应用中超低功耗视觉传感器的实时、节能机器学习流水线，利用硬件内运动检测实现背景过滤并降低计算负载。该系统在仅7.5mW功耗下实现8ms的推理延迟，展示了在资源受限设备上保持感知性能的同时具备极高的效率。

ABSTRACT

The Internet of Things (IoT) and smart city paradigm includes ubiquitous technology to extract context information in order to return useful services to users and citizens. An essential role in this scenario is often played by computer vision applications, requiring the acquisition of images from specific devices. The need for high-end cameras often penalizes this process since they are power-hungry and ask for high computational resources to be processed. Thus, the availability of novel low-power vision sensors, implementing advanced features like in-hardware motion detection, is crucial for computer vision in the IoT domain. Unfortunately, to be highly energy-efficient, these sensors might worsen the perception performance (e.g., resolution, frame rate, color). Therefore, domain-specific pipelines are usually delivered in order to exploit the full potential of these cameras. This paper presents the development, analysis, and embedded implementation of a realtime detection, classification and tracking pipeline able to exploit the full potential of background filtering Smart Vision Sensors (SVS). The power consumption obtained for the inference - which requires 8ms - is 7.5 mW.

研究动机与目标

• 通过利用超低功耗视觉传感器，解决传统计算机视觉在物联网应用中的能耗与计算开销问题。
• 开发一种领域特定的流水线，以最大化具备硬件内运动检测功能的智能视觉传感器（SVS）的效率与性能。
• 在资源受限的硬件上实现低功耗下的实时检测、分类与跟踪。
• 证明即使在低分辨率和低帧率下，仍可维持高水平的感知性能。

提出的方法

• 流水线设计旨在利用智能视觉传感器（SVS）的硬件内背景过滤功能，通过仅检测运动物体来减少数据带宽与处理负载。
• 在传感器的嵌入式处理器上直接实现实时目标检测与分类模型，最大限度减少片外数据传输。
• 系统采用专为低功耗推理优化的轻量化神经网络，结合模型量化与剪枝技术以减小计算开销。
• 流水线集成于异构架构中，仅将必要处理任务卸载，确保能耗最低。
• 每帧推理耗时8ms，实现在超低功耗平台上的实时性能。
• 该实现已在SLOHA 2021研讨会展示的原型系统上完成验证，并报告了功耗与延迟数据。

实验结果

研究问题

• RQ1 如何在不牺牲实时性能的前提下，高效地将机器学习部署于超低功耗视觉传感器上？
• RQ2 在具备背景过滤功能的视觉传感器上，实时检测、分类与跟踪流水线可实现的功耗效率如何？
• RQ3 硬件内运动检测在视觉物联网系统中能在多大程度上减轻计算与能耗负担？
• RQ4 轻量化神经网络是否能在低分辨率、低帧率传感器上实现可接受的感知精度，同时保持超低功耗？

主要发现

• 所提出的流水线实现每帧仅8ms的推理延迟，可在目标硬件上实现实时运行。
• 系统在推理期间功耗仅为7.5mW，展示了面向视觉物联网应用的卓越能效。
• 硬件内背景过滤的使用显著降低了数据处理负载，使低功耗处理器能够高效运行。
• 得益于领域特定的优化，该流水线在传感器分辨率与帧率降低的情况下仍能保持良好的感知性能。
• 该实现已在SLOHA 2021研讨会完成验证并展示，证实其在真实世界异构架构中的可行性。