[论文解读] A Spike Learning System for Event-driven Object Recognition

Shibo Zhou, Wei Wang+2 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Memory and Neural Computing参考文献 40被引用 8

一句话总结

本文提出一种基于脉冲神经网络（SNN）的学习系统，采用新颖的时间编码方案，用于基于LiDAR和DVS传感器的事件驱动目标识别。通过将事件到达时间与数据直接映射到脉冲时间，该系统实现了异步、实时处理，无需固定累积窗口，在KITTI数据集上实现了最先进精度，并将识别延迟降低了56.3%至91.7%。

ABSTRACT

Event-driven sensors such as LiDAR and dynamic vision sensor (DVS) have found increased attention in high-resolution and high-speed applications. A lot of work has been conducted to enhance recognition accuracy. However, the essential topic of recognition delay or time efficiency is largely under-explored. In this paper, we present a spiking learning system that uses the spiking neural network (SNN) with a novel temporal coding for accurate and fast object recognition. The proposed temporal coding scheme maps each event's arrival time and data into SNN spike time so that asynchronously-arrived events are processed immediately without delay. The scheme is integrated nicely with the SNN's asynchronous processing capability to enhance time efficiency. A key advantage over existing systems is that the event accumulation time for each recognition task is determined automatically by the system rather than pre-set by the user. The system can finish recognition early without waiting for all the input events. Extensive experiments were conducted over a list of 7 LiDAR and DVS datasets. The results demonstrated that the proposed system had state-of-the-art recognition accuracy while achieving remarkable time efficiency. Recognition delay was shown to reduce by 56.3% to 91.7% in various experiment settings over the popular KITTI dataset.

研究动机与目标

• 解决现有事件驱动目标识别系统中因依赖固定预设事件累积时长而导致的时间效率低下这一关键问题。
• 利用事件驱动传感器（LiDAR、DVS）和SNN固有的异步特性，实现实时、低延迟识别，无需等待完整事件帧的形成。
• 引入一种自优化事件累积时间，由系统动态决定而非人工设定，从而提升响应速度与效率。
• 将时间效率作为主要评估指标之一，与精度并重，为动态、高速应用场景建立新的性能基准。
• 开发一种时间编码方案，将异步传感器事件映射到SNN神经元的精确脉冲时间，实现即时处理与最小延迟。

提出的方法

• 设计一种新颖的时间编码方案，将每个事件的到达时间与数据编码为SNN神经元的脉冲时间，实现直接、时间精确的处理。
• 将时间编码与SNN原生的异步处理能力相结合，实现先到先服务的事件处理机制，避免同步延迟。
• 采用损失函数最小化最终输出层的脉冲时间，隐式优化每个识别任务的事件累积时间。
• 使用通过时间反向传播（BPTT）结合替代梯度的方法训练SNN，实现时间表征的端到端学习。
• 在多个LiDAR和DVS数据集（包括KITTI、DVS-CIFAR10和N-MNIST）上应用该系统，事件收集不设固定时间窗口。
• 基于网络达到足够置信度的时刻，动态确定每个样本的识别完成时间，实现早期推理。

实验结果

研究问题

• RQ1 基于时间编码的脉冲神经网络是否能在不依赖固定累积窗口的前提下，同时实现高精度与低延迟的事件驱动目标识别？
• RQ2 与固定时长基线相比，该系统自优化的事件累积时间在识别延迟与精度方面表现如何？
• RQ3 在自动驾驶等高速应用场景中，该系统在多大程度上可显著降低识别延迟，从而缓解运动模糊与延迟问题？
• RQ4 所提出的時間編碼方案如何在实现异步、实时处理稀疏异步事件的同时，保持识别精度？
• RQ5 该系统在事件率与稀疏性各异的多样化事件基数据集上，是否能保持具有竞争力的性能？

主要发现

• 与固定窗口基线相比，该系统在KITTI数据集多个设置下，识别延迟降低了56.3%至91.7%。
• 在N-Sydney数据集上，平均仅需62%的事件即可完成推理；在DVS数据集中，该比例不足50%，表明事件利用效率极高。
• 90%样本的推理时间在1至3毫秒内完成，凸显出极强的时间效率与低延迟特性。
• 该系统在全部7个评估数据集上均达到最先进精度，包括在DVS-Barrel上达到99.5%，在Hand-Gesture上达到99.9%，优于先前的SNN与CNN方法。
• 在N-MNIST上，仅使用22,000个可训练参数即实现99.15%的准确率，表明具有高效率与低计算成本。
• 训练过程通过最小化输出脉冲时间，自动优化了有效事件累积时间，无需人工调整超参数。