[论文解读] DashNet: A Hybrid Artificial and Spiking Neural Network for High-speed Object Tracking

Zheyu Yang, Yujie Wu+6 more|arXiv (Cornell University)|Sep 15, 2019

Video Surveillance and Tracking Methods参考文献 42被引用 26

一句话总结

DashNet 提出了一种混合人工神经网络（ANN）与脉冲神经网络（SNN）的框架，可联合处理同步的帧基数据（ANN）与异步的脉冲基数据（SNN），实现高速目标跟踪。通过引入时间互补滤波器（TCF）与注意力模块，其在 NFS-DAVIS 和 PRED18 数据集上实现了最先进（SOTA）的跟踪性能，并在类脑硬件上实现了创纪录的 2083 FPS 速度。

ABSTRACT

Computer-science-oriented artificial neural networks (ANNs) have achieved tremendous success in a variety of scenarios via powerful feature extraction and high-precision data operations. It is well known, however, that ANNs usually suffer from expensive processing resources and costs. In contrast, neuroscience-oriented spiking neural networks (SNNs) are promising for energy-efficient information processing benefit from the event-driven spike activities, whereas, they are yet be evidenced to achieve impressive effectiveness on real complicated tasks. How to combine the advantage of these two model families is an open question of great interest. Two significant challenges need to be addressed: (1) lack of benchmark datasets including both ANN-oriented (frames) and SNN-oriented (spikes) signal resources; (2) the difficulty in jointly processing the synchronous activation from ANNs and event-driven spikes from SNNs. In this work, we proposed a hybrid paradigm, named as DashNet, to demonstrate the advantages of combining ANNs and SNNs in a single model. A simulator and benchmark dataset NFS-DAVIS is built, and a temporal complementary filter (TCF) and attention module are designed to address the two mentioned challenges, respectively. In this way, it is shown that DashNet achieves the record-breaking speed of 2083FPS on neuromorphic chips and the best tracking performance on NFS-DAVIS and PRED18 datasets. To the best of our knowledge, DashNet is the first framework that can integrate and process ANNs and SNNs in a hybrid paradigm, which provides a novel solution to achieve both effectiveness and efficiency for high-speed object tracking.

研究动机与目标

• 解决缺乏同时包含帧基（ANN）与脉冲基（SNN）数据的基准数据集，以支持混合模型评估的问题。
• 克服在统一跟踪框架中联合处理同步 ANN 输出与异步 SNN 脉冲信号的挑战。
• 实现 SNN 在视觉跟踪任务上的端到端直接训练，该方向在先前工作中尚未被探索。
• 通过结合 ANN 与 SNN 的优势，实现高跟踪精度与超低功耗的双重目标。
• 在类脑硬件上实现实时性能，为对象跟踪任务树立新的速度纪录。

提出的方法

• 开发了一种混合数据模拟器，通过事件相机模拟与基于 FCN 的时间插值方法，将帧基数据集（如 NFS）转换为脉冲基信号，从而构建了 NFS-DAVIS 基准数据集。
• 设计了三阶段混合架构：(1) 在 APS（帧）数据上独立训练 ANN，在 DVS（脉冲）数据上训练 SNN；(2) 应用时间互补滤波器（TCF）以同步并融合异步 SNN 输出与同步 ANN 输出。
• 集成注意力模块，将 TCF 输出反馈以优化帧基预测，增强特征表示并提升跟踪精度。
• 在通用计算设备与类脑芯片（Tianjic）上实现完整的 DashNet 模型，支持硬件层面的速度与能效评估。
• 在 SNN 中采用二值脉冲通信与事件驱动处理，以最小化计算量与带宽需求，同时保持高推理速度。
• 通过最小化乘加运算，优化模型以适配类脑硬件，优先采用仅含加法运算的 SNN 计算方式。

实验结果

研究问题

• RQ1 混合模型能否有效结合 ANN 的高精度特征学习能力与 SNN 的能效优势，实现高速实时目标跟踪？
• RQ2 如何在单一跟踪框架中实现同步帧数据与异步脉冲数据的有意义融合？
• RQ3 为公平评估复杂跟踪任务中的混合 ANN-SNN 模型，需要什么样的基准数据集？
• RQ4 SNN 能否被直接用于视觉跟踪任务？其性能是否能与基于 ANN 的跟踪器相媲美？
• RQ5 在类脑硬件上，混合 ANN-SNN 跟踪器可实现的最高速度与能效是多少？

主要发现

• DashNet 在 Tianjic 类脑芯片上实现了创纪录的 2083.3 FPS 跟踪速度，显著优于基于 ANN 的模型。
• 在 NFS-DAVIS 数据集上，DashNet 的平均 AUC 得分为 38.0%，优于所有对比的最先进跟踪器，包括 BACF（35.6%）、SRDCF（32.8%）与 MDNet（32.9%）。
• 在 PRED18 数据集上，DashNet 的平均 AUC 得分为 37.2%，优于 BACF（31.4%）、DSST（30.2%）与 MDNet（35.5%）。
• 仅 SNN 的分支实现了 127.9 FPS/W 的能效，显著优于仅 ANN 的分支（55.4 FPS/W），展现出更优的能效表现。
• DashNet 在类脑硬件上实现了 2083.3 FPS 的速度与 100.1 FPS/W 的能效，实现了 ANN 与 SNN 优势的完美结合。
• 注意力模块与 TCF 机制显著提升了跟踪精度，通过实现异步与同步信号之间的动态反馈与时间对齐。