[论文解读] A low-power end-to-end hybrid neuromorphic framework for surveillance applications

Andrés Ussa, Luca Della Vedova+7 more|arXiv (Cornell University)|Oct 22, 2019

Advanced Memory and Neural Computing参考文献 20被引用 6

一句话总结

该论文提出了一种低功耗（5W）的端到端混合类脑架构，用于监控系统，结合了基于帧的物体追踪与在IBM TrueNorth上的事件基分类。通过将事件聚合为帧以实现鲁棒追踪，并利用硬件友好的能效深度网络（EEDN）流水线进行分类，该系统在物体分类上实现了90.2%的每轨迹准确率，同时在内存和计算效率方面优于最先进方法。

ABSTRACT

With the success of deep learning, object recognition systems that can be deployed for real-world applications are becoming commonplace. However, inference that needs to largely take place on the `edge' (not processed on servers), is a highly computational and memory intensive workload, making it intractable for low-power mobile nodes and remote security applications. To address this challenge, this paper proposes a low-power (5W) end-to-end neuromorphic framework for object tracking and classification using event-based cameras that possess desirable properties such as low power consumption (5-14 mW) and high dynamic range (120 dB). Nonetheless, unlike traditional approaches of using event-by-event processing, this work uses a mixed frame and event approach to get energy savings with high performance. Using a frame-based region proposal method based on the density of foreground events, a hardware-friendly object tracking is implemented using the apparent object velocity while tackling occlusion scenarios. For low-power classification of the tracked objects, the event camera is interfaced to IBM TrueNorth, which is time-multiplexed to tackle up to eight instances for a traffic monitoring application. The frame-based object track input is converted back to spikes for Truenorth classification via the energy efficient deep network (EEDN) pipeline. Using originally collected datasets, we train the TrueNorth model on the hardware track outputs, instead of using ground truth object locations as commonly done, and demonstrate the efficacy of our system to handle practical surveillance scenarios. Finally, we compare the proposed methodologies to state-of-the-art event-based systems for object tracking and classification, and demonstrate the use case of our neuromorphic approach for low-power applications without sacrificing on performance.

研究动机与目标

• 解决在偏远或移动监控系统中实时、低功耗部署物体追踪与分类的挑战。
• 克服传统帧基摄像头的局限性，其计算成本高且功耗大，尤其在动态或低光照环境中。
• 开发一种混合类脑系统，利用事件基摄像头的优势——低功耗（5–14 mW）、高动态范围（120 dB）和异步事件生成——同时保持高性能。
• 通过在追踪器输出而非真实标签上进行训练，实现在IBM TrueNorth上的端到端分类，提升实际应用中的鲁棒性。
• 展示一种硬件优化系统，以极低功耗实现高准确率，适用于交通监控和安防应用中的边缘部署。

提出的方法

• 使用事件基摄像头异步捕获场景变化，仅在亮度变化时生成事件，从而减少数据冗余和功耗。
• 将输入事件聚合为固定时间间隔的帧，以生成运动物体的空间表示，通过前景事件密度实现基于帧的区域提议。
• 通过估计物体表观速度实现硬件友好的物体追踪器，以在遮挡期间维持跟踪，区域提议源自事件密度图。
• 使用EEDN流水线将追踪物体的帧表示重新转换为脉冲信号，实现在IBM TrueNorth上的高效分类。
• 通过时间复用TrueNorth芯片，同时分类最多八个物体，预处理神经元数量与物体数量线性扩展。
• 在追踪器输出（而非真实标签）上训练TrueNorth模型，以提升实际部署中的鲁棒性，并避免对人工标注的依赖。

实验结果

研究问题

• RQ1 混合帧-事件处理方法是否能在类脑监控系统中实现高追踪准确率，同时保持低功耗？
• RQ2 在真实部署中，使用追踪器生成的输出而非真实标签来训练分类模型，对性能有何影响？
• RQ3 IBM TrueNorth在多任务实时分类中，其时间复用效率如何，硬件开销最小化到何种程度？
• RQ4 与最先进事件基追踪与分类方法相比，所提系统在准确率、内存使用和计算效率方面表现如何？
• RQ5 在基于FPGA的硬件实现中，有限精度算术对追踪器性能和分类准确率有何影响？

主要发现

• 当包含人形目标时，硬件追踪器在IoU阈值为0.4时达到0.48的精确率和0.52的召回率；当排除人形目标后，精确率提升至0.58，召回率提升至0.84。
• 尽管因有限精度导致准确率下降5%，该系统仍以7倍更少的内存和3倍更少的计算量，优于多目标EBMS追踪器[Delbruck和Lang, 2013]。
• 基于TrueNorth的分类在使用追踪器输出训练时达到90.2%的每轨迹准确率，而基于真实标签训练的DART框架准确率为95.4%，表明其在真实场景中具有强大可行性。
• 整个系统仅功耗5W，相比传统GPU降低40倍，相比最先进帧基嵌入式系统降低4倍。
• 该框架通过在事件聚合帧上基于速度的追踪，成功处理遮挡场景，维持了物体身份的一致性。
• 视频演示证实，即使追踪器略微领先或滞后于真实标注，系统仍能正确分类物体，凸显其对追踪漂移的鲁棒性。